AI 智能体剑指万亿美元咨询市场 | 英伟达提升大型语言模型推理能力,Together AI 实现 400% 推理速度提升

AI 智能体剑指万亿美元咨询市场 | 英伟达提升大型语言模型推理能力,Together AI 实现 400% 推理速度提升

AI 代理在未来感显示屏上快速分析市场趋势,彰显先进的 LLM 推理和高速数据处理能力,助力咨询业。

今日看点

  • Echelon 推出了人工智能代理,旨在自动化复杂的 ServiceNow 实施,直接挑战埃森哲和德勤等传统咨询巨头,争夺高达1.5万亿美元的IT服务市场。
  • 英伟达研究人员推出了一种名为强化学习预训练 (RLP) 的新颖技术。该技术旨在LLM的初始训练阶段就教会其推理,从而将它们在复杂任务上的性能提升高达35%。
  • Together AI 的新 ATLAS 系统提供自适应推测解码,通过持续从实时工作负载中学习,实现高达 400% 的推理速度提升。
  • 史考特奇迹草,一家快消品公司,通过将其150年的园艺专业知识数字化,出人意料地跃升为人工智能领域的领导者,节省了1.5亿美元的供应链成本并改善了客户服务。
  • Raindrop 推出了 “Experiments”,这是首个专为企业级 AI 代理设计的 A/B 测试套件,使公司能够衡量模型和提示词更新带来的实际影响。

主要动态

人工智能格局正在迅速演变,超越了通用模型,转向专用智能体,这些智能体有望重新定义业务运营,从企业软件实施到基础模型训练,再到现实世界的运营效率。本周,Echelon公司秘密亮相,获得475万美元种子轮融资,并推出了旨在自动化端到端ServiceNow实施的AI智能体。此举直接瞄准了埃森哲和德勤等行业巨头劳动密集型的咨询模式,旨在颠覆1.5万亿美元的全球IT服务市场。Echelon的智能体由顶尖的ServiceNow专家训练,能够分析需求、提出澄清性问题,并自动生成完整的配置、表单、工作流和文档,从而大幅缩减项目周期和成本。这预示着一个根本性的转变:领域特定的AI能够在复杂的专业服务中取代高技能人工劳动力。

这种对AI驱动效率的追求并不仅限于服务领域。在一项重要的基础设施开发中,Together AI推出了ATLAS(自适应学习预测系统),这是一种自学习推理优化功能,可将推理性能提升高达400%。推测解码是一种技术,其中较小的AI模型会提前草拟token,供主模型并行验证,这对于降低推理成本和延迟至关重要。ATLAS解决了“工作负载漂移”问题,即随着AI使用情况的演变,静态预测器的性能会下降。通过将稳定的静态预测器与轻量级、持续学习的自适应预测器相结合,ATLAS能够动态优化预测,甚至在英伟达B200 GPU上达到或超越Groq定制硬件等专用推理芯片的性能。

支撑这些先进应用的,是AI模型学习方式上的突破。英伟达研究人员引入了强化学习预训练(RLP),这是一种将强化学习整合到大型语言模型(LLMs)初始训练阶段的新颖技术。与在后续微调阶段教授推理的传统方法不同,RLP鼓励模型在预训练期间通过生成内部“思考”并奖励那些能提高下一个token预测准确性的思考来“自主思考”。这种不需要外部验证器的方法,已在基准测试中显示可将LLM的推理能力显著提升高达35%,从而建立了一个更强大的基线,并能与后续微调阶段相结合,潜在地减少复杂工作流中的细微逻辑错误。

这些进步的影响已在意想不到的地方显现。施可得奇迹生(ScottsMiracle-Gro),一家以园艺智慧为基础的公司,已转型成为企业AI领域“意想不到的领导者”。在一位半导体资深人士的领导下,该公司利用AI将150年的传统知识数字化,带来了超过1.5亿美元的供应链节省,客户服务响应时间提升90%,并实现了营销资源的每周重新分配。从测量堆肥的无人机,到对内部知识进行分类的AI机器人,再到理解肥料细微差别的专用智能体,施可得奇迹生公司表明,将通用AI与独特的结构化领域知识相结合,可以创造强大且可防御的竞争优势,挑战了传统行业对AI准备度的假设。

随着AI智能体变得越来越普及和复杂,管理其性能至关重要。Raindrop推出了“Experiments”,这是首个专为企业AI智能体设计的A/B测试套件。该工具允许公司通过真实终端用户比较新模型、提示或工具等变化如何影响智能体的性能,并跟踪任务失败、用户沮丧和对话时长等指标。为了弥合“评估通过,智能体失败”之间的鸿沟,Raindrop的Experiments提供了一个数据驱动的视角,用于持续改进,确保AI系统更新在生产环境中真正提升智能体的表现。

分析师视角

本周新闻生动地描绘了人工智能对企业日益成熟的影响。我们正目睹人工智能从实验阶段向任务关键型、创收型部署的明显转变。Echelon大举进军咨询领域,凸显了专业人工智能代理对人类专业知识的直接取代,预示着传统专业服务模式将面临巨大压力。竞争优势日益体现在不在于拥有最大的模型,而在于人工智能的智能应用,结合其独有的领域知识,正如ScottsMiracle-Gro所成功证明的那样。此外,英伟达在基础技术方面的进展以及Together AI带来的效率提升,预示着业界对更强大、更具成本效益的人工智能的不懈追求。企业必须优先考虑适应性人工智能战略,投资Raindrop等工具进行严格的性能测量,并积极寻求将其独特的组织智能数字化和操作化,以便在这个新的人工智能驱动的格局中蓬勃发展。预计人工智能代理平台将进一步整合,专业人工智能人才的竞争也将日益激烈。


内容来源

Read English Version (阅读英文版)

Comments are closed.