人工智能的金手铐：先驱者对探索的恳求，抑或是仅仅天真？
引言: Transformer基础技术的奠基人Llion Jones公开表示，他对自己亲手开创并支撑着现代人工智能发展的这项创新感到幻灭。他对行业单一发展方向的坦率批判，不仅仅是个人层面的不满，更是一个关于创新停滞的严峻警告，以及商业压力如何重塑人工智能未来的令人不安的真相。
核心提炼
- 人工智能行业对Transformer架构的狭隘专注，直接源于激烈的商业压力，导致其倾向于对现有成果的“利用”，而非进行关键的“探索”。
- Sakana AI提出的“自由优先”研究模式，是对当前主导的、资本密集型人工智能发展范式的一种崇高但实践上充满挑战的反叙事。
- 在没有明确后继技术的情况下，过早放弃Transformer研究，可能导致资源无法投入到现有高效系统的关键优化和应用专属发展中。
深度解读
Llion Jones公开抱怨他“彻底受够了”Transformer，这是AI史册上一个引人注目、甚至颇具诗意的时刻。这番话出自《Attention Is All You Need》的共同作者之口，并非局外人的随意评论，而是内部人士发出的深刻存在危机。他将AI领域比作陷入“探索与开发”（exploration versus exploitation）的两难境地，完美地揭示了核心问题：我们正以越来越高的效率开采已知的金矿，却停止了寻找新的金矿。
Jones提到的来自投资者和发表论文竞赛的“巨大压力”，并非偶然的副作用；它们是现代技术发展的根本驱动力。在数十亿资金被投入、估值因渐进的性能提升而飙升的背景下，专注于已知路径不仅是理性的，往往也是一项受托责任。大型语言模型，作为Transformer的所有衍生品，已经释放了前所未有的能力，创造了实实在在的产品和收入来源。完全脱离这种行之有效的模式，去追逐未知的“下一个大事件”，是巨大的商业风险，很少有上市公司甚至资金充足的初创公司能够承担。
Jones对Sakana AI的愿景——旨在重现Transformer时代之前“有机、自下而上”的自由——听起来很田园牧歌。但人们必须质疑其可扩展性和可持续性。最初的Transformer论文出自谷歌，一家拥有雄厚资源、能够承担投机性研究的公司。一个较小的实体能否在持续培养这种“自由”的同时，与那些提供Jones认为阻碍创造力的“百万美元年薪”的巨头竞争人才和市场份额？历史事实是，许多突破虽然常常源于好奇心，但需要强大的机构支持才能成熟。“有才华、聪明的人”会自然而然地选择自由而非财务安全和强大基础设施的观念是理想主义的，尤其是在顶级AI人才成为最昂贵商品之一的市场中。
当前AI的现状是一个复杂的生态系统。尽管革命性的架构转变总是令人兴奋，但该行业也需要在现有技术的工程、优化和实际部署方面付出大量努力。仅仅宣称自己“受够了”一种经过验证、强大的架构，虽然从研究疲劳的角度可以理解，但却低估了从精炼的Transformer模型中尚未提取出的巨大价值。
对比观点
琼斯对无限制探索的呼吁虽然引人注目，但它忽视了推动AI发展不可否认的商业驱动力。对于主要参与者而言，对Transformer技术的“开发利用”并非想象力匮乏，而是一种精明的商业策略。数十亿资金已投入到优化这些模型、构建庞大的计算基础设施以及在海量数据集上训练它们。即使Transformer在效率、规模或特定领域应用上取得微小进步，也能带来显著、切实的经济回报和市场主导地位。竞争对手可能会争辩说，“下一个重大突破”不一定是一种新架构，而是一种效率更高、体积更小或更专业的Transformer，能够在边缘设备上运行或仅消耗极少能量。过早放弃这条道路将是不负责任的财务行为，并将把市场领导地位拱手让给那些继续完善现有“黄金标准”的公司。此外，如今训练和迭代任何新型大规模AI架构的巨额成本是天文数字，使得“纯粹的探索”在初始概念验证阶段之后，成为少数公司才能真正负担得起的奢侈品。
前景探讨
在未来一到两年内，以各种优化和专业化形式存在的Transformer无疑仍将是大规模人工智能的主导架构。预计它们在效率、参数量减少、多模态能力以及针对特定企业应用的微调方面将持续取得进展，而非发生根本性的架构转变。然而，琼斯的批评很可能会重新激发人们对多样化学术研究以及Sakana AI这样规模较小、资金充足的“登月计划”实验室的兴趣，这可能会带来更多元化的探索途径。最大的障碍仍然是经济方面：如何在没有即时商业可行性压力的情况下，资助真正具有探索性质的研究。利润驱动的开发利用与基础性探索之间的张力将持续存在，这需要一种微妙的平衡，真正的突破可能只来自于那些愿意承担长期风险的机构承诺，就像贝尔实验室在其鼎盛时期的运作方式，或者谷歌最初在内部培育Transformer理念一样。
原文参考: Sakana AI’s CTO says he’s ‘absolutely sick’ of transformers, the tech that powers every major AI model (VentureBeat AI)