AI要闻：2025年6月7日——解锁大型语言模型并提升采样效率
今天的AI新闻揭示了在理解和改进大型语言模型（LLM）和采样技术方面的令人兴奋的进展。研究重点在于增强可解释性、改进测试时策略以及提高生成模型的效率和鲁棒性。
一项关于LLM可解释性的重大突破来自一篇新论文，该论文表明，Transformer解码器LLM可以有效地转换为等效的线性系统。这意味着LLM复杂的多层非线性计算可以简化为单一组矩阵乘法，而不会牺牲精度。该方法包括识别Transformer中的“线性路径”并计算雅可比矩阵以创建一个分离的线性系统，该系统可以以极高的精度（约10⁻⁶误差）重建下一个token的输出。这为理解LLM如何得出其预测开辟了令人兴奋的途径，并可能允许更具针对性的调试和改进。研究人员建议这种方法提供了一种新的token归因级别，超越了目前使用的近似方法。代码已公开发布，有望在研究界迅速采用。
与此同时，LLM测试时缩放范式的理论基础正在得到加强。一项新的研究分析了不同策略（如自一致性和最佳n）的样本复杂性，表明最佳n在样本效率方面明显优于自一致性。这一发现为优化LLM在计算资源受限的实际应用中的使用提供了宝贵的指导。此外，研究表明，当与验证器反馈相结合时，自校正方法允许Transformer有效地模拟来自多个专家的在线学习。这是一个重要的结果，它将Transformer的理论理解从单任务学习扩展到多任务学习，并可能为更具适应性和鲁棒性的模型铺平道路。
生成模型领域也出现了一个有前景的进展，即引入了渐进式退火采样器与扩散模型（PTSD）。这种新方法结合了强大的马尔科夫链蒙特卡洛（MCMC）方法并行退火（PT）和扩散模型的优势，以提高从复杂、未归一化概率分布中采样的效率。PTSD跨不同温度顺序训练扩散模型，利用PT的高温样本改进训练过程和后续样本的质量。一个关键优势是它能够生成不相关的样本，解决了传统PT的一个主要限制。效率和样本质量的提高对许多需要高效采样的应用具有重要意义，包括贝叶斯推理和生成建模。
最后，一项重要的研究考察了微调后LLM对安全对齐越狱的脆弱性。该研究重点关注原始安全对齐数据与下游微调数据集之间的关系，证明了高相似性与安全防护失效之间存在很强的相关性。这强调了仔细设计数据集以确保LLM的鲁棒性和安全性的重要性。研究结果表明，仔细选择多样化和不同的微调数据可以显著增强安全机制的弹性，从而大大减少有害输出。这项工作强调了一个在现有缓解策略中经常被忽视的关键上游因素，强调需要一种更积极主动和全面的LLM安全方法。另一篇论文解决了3D场景生成问题，提出了一种名为DirectLayout的新框架，该框架使用LLM和空间推理直接从文本描述生成3D布局。这解决了当前方法的局限性，当前方法通常难以进行开放词汇生成和细粒度控制。
总而言之，今天的研究展示了一种增强LLM及其底层技术的多种方法。从提高其可解释性和效率到增强其安全性并扩展其功能，这些进步推动了人工智能的边界，使我们更接近更强大、更可靠和更值得信赖的系统。
本文内容主要参考以下来源整理而成：
Sample Complexity and Representation Ability of Test-time Scaling Paradigms (arXiv (stat.ML))
Progressive Tempering Sampler with Diffusion (arXiv (stat.ML))