引言: 在不懈追求可扩展人工智能的过程中，大型语言模型（LLM）常常因其自身的计算负担而步履维艰，尤其是在复杂推理方面。DeepConf 声称提供了一种巧妙的方法来摆脱这种效率陷阱，承诺在提高准确性的同时显著节约成本。然而，在这些令人印象深刻的基准数据之下，我们必须追问这究竟是LLM智能的真正飞跃，抑或仅仅是对固有低效范式的一种复杂优化。

核心提炼

• DeepConf 利用内部对数概率推导出局部置信度分数，从而实现显著的 token 缩减（高达 84.7%），同时通常还能提高 LLM 推理任务的准确性。
• 其双模运行（离线过滤和在线提前终止）为企业降低计算密集型LLM应用的推理成本提供了务实的途径。
• 固有的“确信却误”问题依然是一个关键的脆弱性，引发了对高风险部署中内部置信信号可靠性的质疑。

深度解读

DeepConf 的出现，是对抗 LLM 推理成本日益严峻挑战的及时干预。当前用于复杂推理的主流策略，以“自洽性”方法为代表，类似于一种蛮力式攻击：生成数十个，有时甚至是数百个推理路径，并寄希望于统计聚合能得出正确答案。这种方法虽然有效，但在经济上很快难以为继，在环境上也不负责任。DeepConf 的核心在于，它试图为这一过程引入某种程度的内省机制，从“多思考”转向“更智能地思考”。

其核心创新不仅限于提前停止——像“提前停止自洽性”等现有方法已经对此有所探索。DeepConf 的独特之处在于其细粒度、局部化的置信度指标。它超越了简单的平均 token 概率，其分组（Group）、最低 10%（Bottom 10%）、最低分组（Lowest Group）和尾部置信度（Tail Confidence）分数试图在推理轨迹中精准定位疑点或错误时刻。这种细粒度分析无疑比简单地检查答案收敛性更复杂，值得称赞的是，实验结果——尤其是在 GPT-OSS-120B 上 AIME 2025 达到 99.9% 的准确率和惊人的 84.7% 的 token 缩减——在纸面上无疑是令人印象深刻的。

对于那些正努力应对部署 LLM 进行高级问题解决或代码生成等任务的运营开销的企业而言，DeepConf 提出了一个引人注目的主张。其在线模式及其动态提前停止功能，可以直接转化为更低的 API 成本、更低的延迟和更小的碳足迹。这可能会解锁以前因成本过高而无法实现的新应用。然而，至关重要的是要明白，DeepConf 并没有从根本上改变 LLM 的推理方式；相反，它是一种复杂的元算法，能够有效修剪现有模型的输出。它是一个优化层，而不是底层 LLM 架构或推理能力的范式转变。该方法的有效性完全取决于基础 LLM 生成的内部对数概率的质量和可靠性，而这些在不同模型和领域之间可能变化无常。

对比观点

DeepConf虽然为更高效的LLM推理描绘了诱人的前景，但怀疑的目光迅速聚焦于其对模型“内部置信度”的依赖。作者们自己也承认“自信地犯错”的问题——这是一个关键的阿喀琉斯之踵。如果模型自信地剪除正确的推理路径，或者更糟的是，自信地支持一个错误的答案，那么效率又有什么用呢？这不仅仅是一个学术问题；在现实世界的高风险应用中，一个自信的错误答案可以说比不确定的答案更危险。此外，关于“无需额外模型训练或复杂的超参数调优”的说法也值得推敲。DeepConf虽然不重新训练LLM，但置信度指标的选择（例如，最低组置信度与尾部置信度）、预热集大小、停止阈值 (s) 以及自适应采样的共识阈值，都是不可避免地需要仔细调优和验证的参数，才能在多样化的部署场景中实现最佳性能。这并非“没有调优”；这只是调优工作应用位置的转变，并且对于企业级鲁棒性而言，这项工作可能仍然相当可观。

前景探讨

在未来1-2年内，DeepConf或类似的基于置信度的推理方法，很可能在专门的、计算密集型的大语言模型（LLM）应用中站稳脚跟。预计将在单次查询成本是重要考量的领域看到其被采用，例如自动化定理证明、复杂的科学推理或精密的智能体工作流。除了“自信地犯错”问题之外，最大的障碍将是如何在多样化的真实世界数据分布和不同的基础LLM架构中稳健地泛化这些置信度信号，而无需大量的手动校准。如果DeepConf能够发展到提供更多可解释的见解，说明为什么某个推理过程被认为是低置信度的，甚至可能提供人工干预或专家反馈的机制，那么其实用价值将飙升。否则，它就有可能成为一个强大但利基的优化方案，用以应对LLM可靠性这一持续存在的根本性挑战。

---

原文参考: DeepConf: Scaling LLM reasoning with confidence, not just compute (Hacker News (AI Search))

Read English Version (阅读英文版)