预训练悖论：英伟达的 RLP 和深度思考的错觉
引言: 英伟达最新涉足的“强化学习预训练”（RLP）承诺将从第一天起就赋予大型语言模型基础推理能力。尽管被吹捧为人工智能学习“思考”方式的范式转变，但仔细审视却揭示了一个熟悉的模式：将渐进式创新包装成“独立思考”的宏大叙事，这引发了关于究竟是真正的认知飞跃还是精巧优化的问题。
核心提炼
- RLP在预训练期间整合了自奖励循环，根据下一个词元预测的准确性来鼓励内部“思考”的产生，而不是仅仅依赖外部微调来进行推理。
- 这种技术旨在产生一个更鲁棒的基线模型，可能增强后续微调阶段的有效性并减轻灾难性遗忘等问题。
- 然而，“思维”机制本质上与预测性改进紧密相连，从而引发了质疑：它究竟是培养真正的推理能力，抑或仅仅是为了更好地猜测而进行的一种更高效的内部预计算。
深度解读
英伟达的 RLP 提出了一项引人入胜的尝试，旨在将更复杂的“推理”能力直接融入大型语言模型的基础预训练阶段。历史上，LLM 在预训练阶段通过下一词元预测学习语法、语义和事实关联，而复杂的推理模式（如思维链 CoT）则通常在后期训练（通常通过监督微调 SFT 或人类反馈强化学习 RLHF）中习得。RLP 改变了这种模式，它将 CoT 的生成本身视为一种行动，并根据其在多大程度上有效改善模型后续的下一词元预测来给予奖励。
从表面上看，这很巧妙。通过在预测词元之前生成内部“思考”，如果这种思考能提高预测准确性，模型就会自动获得奖励，从而据称能学会如何在非结构化数据上进行有效的“思考”。这避免了在初始学习阶段对昂贵、精心策划的数据集的需求——在资源密集型 LLM 开发领域，这是一个不小的优势。其既定目标是避免传统预训练的“线性逐词元处理过程”，使模型更接近人类的并行信息处理方式。
然而，关键的区别在于这种“思考”的本质。“奖励”并非基于逻辑健全性、事实正确性或道德一致性，而纯粹是基于其对预测下一词元的效用。尽管这可以在推理基准测试上带来显著提升，但人们必须质疑，优化预测准确性是否真正等同于更深层次、独立的推理。模型是在学习推理，还是在学习一种极其复杂的内部预计算策略，这种策略因为改善了预测结果而看起来像推理？这好比国际象棋引擎通过内部分析更多走法而变得更强，而非通过理解比赛的精神。
对于企业而言，一个更强大的基线模型，尤其是那些在微调过程中不易出现灾难性遗忘的模型，无疑具有吸引力。在金融分析或法律摘要等多步骤工作流程中表现的提升，可以转化为切实的商业价值。然而，仍然明确要求保留人类监督和外部验证的基本保障措施。这表明 RLP 是一种放大工具，而非替代决定 AI 实际效用和安全性的关键对齐和验证层。它可能是一个更聪明的学习者，但仍然在其预测目标的限制范围内运作。
对比观点
尽管英伟达将RLP誉为一项基础性变革，但怀疑论者可能会将其视为一种高度复杂的优化，而非人工智能认知的真正飞跃。竞争对手或批评者可能会辩称，“独立思考行为”仍然本质上是下一词元预测的涌现属性，尽管它是一种更复杂、内部递归的属性。源于预测改进的奖励信号，可能只是教导模型生成听起来合理的内部步骤，从而得到正确输出，而并非真正理解其底层逻辑。这可能导致模型优化出一种“推理的表象”，这种表象仍然隐藏着微妙的逻辑缺陷，尤其是在新颖的、非分布内情境中。此外，尽管论文声称效率高，但将强化学习循环整合到大规模预训练阶段，可能会引入计算开销和调优复杂性，这些开销和复杂性可能超过其益处，对于已在大规模生产中高度优化的传统管道而言。当前的基准测试在小型模型上表现出色，但将这些收益扩展到拥有数万亿参数的模型，同时保持稳定性和成本效益，仍然是一个悬而未决的问题，并且在这一点上，已有的SFT/RLHF方法具有相当的成熟度和工具支持。
前景探讨
在未来一到两年内，RLP（即预训练中类似的强化学习方法）可能会在大型语言模型（LLM）研究社区中获得关注，并可能被整合到专门的模型架构中。它创建更强大的基础模型的能力，特别是那些不易发生灾难性遗忘的模型，对于在后训练过程中与模型衰减作斗争的开发者而言，是一个引人注目的提议。然而，在近期内，仅基于RLP对主流LLM预训练流程进行广泛的全面改革的可能性不大。
最大的障碍将是在真正庞大的模型（例如，参数量超过数千亿）上证明其有效性和可扩展性，因为在这种情况下，在初始训练期间管理强化学习循环的计算成本和复杂性可能会变得令人望而却步。此外，这些内部生成的“思想”的可解释性对于调试和信任至关重要，而这正是强化学习系统经常面临挑战的领域。RLP很可能会补充而不是完全取代当前的预训练方法，为提高基础模型能力提供一个新的维度。它预示着混合预训练目标的未来，但用于对齐和验证的人工环节仍然不可或缺。
原文参考: Nvidia researchers boost LLMs reasoning skills by getting them to ‘think’ during pre-training (VentureBeat AI)