包容场域：现实世界不过是另一个实验室吗？
引言: 多年来，我们一直在为那些感觉脱离现实的LLM基准测试而苦恼，它们衡量的是学术能力而非实用价值。Inclusion AI 新推出的“包容竞技场”承诺带来一场革命性的转变，声称将在真实应用中根据用户的实际偏好来对模型进行基准测试。然而，在我们宣告胜利之前，务必仔细审视这种“真实世界”的方法究竟是真正的范式转变，抑或仅仅是一个披着生产外衣的更复杂的实验室实验。
核心提炼
- 包容竞技场推出了一种引人注目但有限的方法论，用于在真实应用环境中，直接通过用户偏好评估大语言模型。
- 这标志着行业向以人为本的指标迈出的关键转变，有望为企业在模型选择方面提供比传统基准更实用的视角。
- 该平台在实现真正的“现实世界”多样性和规模方面面临严峻挑战，目前集成的应用程序也引发了对其代表性和潜在细微偏见的质疑。
深度解读
大型语言模型发展中一直存在的阿喀琉斯之踵在于实验室基准分数与实际野外性能之间的鸿沟。传统的排行榜，通常依赖静态数据集和MMLU或OpenLLM等学术指标，很少能告诉我们LLM在人类交互的混乱、微妙需求下究竟表现如何。企业渴望可靠的信息来选择合适的模型，但大多不得不进行昂贵、耗时的内部评估来弥补这一差距。
于是，阿里巴巴蚂蚁集团旗下公司“包容AI”推出了一项名为“包容竞技场”（Inclusion Arena）的倡议。它的前提很巧妙：不是模拟使用情况，而是将基准直接嵌入到真实运行的AI应用中，收集真实用户偏好，并据此对模型进行排名。这是一个值得称赞的观念飞跃，它超越了单纯的“正确性”，转而衡量“实用性”和“满意度”——这些品质对于任何成功的企业级AI部署都至关重要。通过利用聊天机器人竞技场（Chatbot Arena）中熟悉的Bradley-Terry建模方法，“包容竞技场”旨在从用户偏好响应的成对比较中得出稳健的排名。模型在幕后竞争，而人类用户在不知情中投票，这个想法确实具有创新性。
然而，“真实世界”这个标签虽然充满抱负，但需要更严格的审视。目前，“包容竞技场”的数据仅来自两个应用：一个名为Joyland的角色聊天应用，和一个名为T-Box的教育交流应用。尽管这些应用收集的是“真实生活”的人类交互，但它们代表着高度特定的领域，具有特定的用户群体和交互模式。一个用户与AI角色聊天或参与教育对话的偏好，能否真正反映一个企业在法律文档分析、财务预测或制造工厂客户服务自动化等方面寻找LLM的多样化需求？答案几乎肯定是“不能”。这种狭窄的数据来源，可能导致创建的基准对小众领域是“真实世界”的，但对更广泛的企业应用而言却可能产生误导。
此外，那些旨在提高效率的机制——用于初始排名的“位置匹配”（placement match）和限制比较的“邻近抽样”（proximity sampling）——尽管在管理日益增多的模型时很实用，但可能会无意中创建“信任区域”（trust regions），从而模糊模型在其感知能力边界或面对截然不同的架构时的表现。原始报告中一个明显的细节——提及数据“截至2025年7月”——这提出了一个重大的危险信号。这究竟是2024年的笔误，还是基于未来数据的预测？这种异常情况损害了人们对报告结果的准确性和当前有效性的即时信任。
对比观点
尽管“包容竞技场”提出了一个引人注目的方向，但持怀疑态度的人无法忽视其固有的局限性。支持者会称赞其“实时”评估，认为用户偏好是衡量大型语言模型（LLM）价值的最终仲裁者。然而，“偏好”并不总是等同于“准确性”、“事实正确性”、“安全性”或“合规性”——所有这些都是企业采用的关键指标，尤其是在受监管的行业中。用户可能“偏好”一个简洁、听起来自信但最终不正确的答案。此外，“开放联盟”的愿景雄心勃勃但充满挑战。在千差万别的应用程序之间实现数据质量、隐私和一致性将是巨大的障碍。一个由特定科技巨头（阿里巴巴/蚂蚁集团）控制的基准，也引发了对其自身或合作伙伴模型可能存在微妙偏见的疑问，无论其声称的意图如何。最终，这种方法，尽管是向前迈进了一步，但仍然是基于有限样本的民意调查，而非确凿的工程验证。
前景探讨
实时或生产环境下的LLM评估趋势无疑是未来，而Inclusion Arena是这一愿景的早期但尚不完善的实践。在未来1-2年内，我们可能会看到更多平台尝试收集真实用户反馈。Inclusion Arena以及任何类似尝试面临的最大障碍将是在集成应用和用户群体方面实现真正的多样性，从而使其基准能够广泛代表企业用例。克服为每次用户交互并行运行多个LLM所产生的经济成本，对于广泛采用也至关重要。尽管与脱离现实的实验室测试大相径庭，但Inclusion Arena目前的形式不太可能成为广泛企业领域LLM性能的普适衡量标准。相反，它是一个有价值但相对小众的指标，推动业界超越单纯的token计数，转向关注真正的实用性。
原文参考: Stop benchmarking in the lab: Inclusion Arena shows how LLMs perform in production (VentureBeat AI)