Jul 08, 2025
作者：yidingjiang 大型语言模型是近三十年来互联网上可自由获取的人类文本意外催生的副产品。Ilya Sutskever 将这种信息储备比作化石燃料——储量丰富但终究有限。研究表明，按照当前的数据消耗速率，前沿实验室可能在 2030 年前就会耗尽最高质量的英文网络文本。即便这些预测被证明过于悲观，一个不争的事实是：当今模型消耗数据的速度远超人类生产数据的能力。 David Silver 和 Richard Sutton 将这一即将到来的阶段称为”经验时代”，其核心突破将依赖于学习智能体自主生成的数据。本文中，我想进一步延伸他们的观点：真正的瓶颈不在于获取任意经验，而在于收集对学习真正有益的关键经验。人工智能的下一波进展将更少依赖于参数堆砌，而更多取决于探索——即获取新颖且富含信息量的经验的过程。 要讨论经验收集，就必须考虑收集它们的成本。归根结底，规模化是个资源问题——计算周期、合成数据生成、数据整理流程、人工监督，任何能产生学习信号的投入。为简化表述，我将这些成本统一归入一个名为”浮点运算量”的记账单位。严格来说，一次浮点运算指一个浮点操作，但这个术语已成为衡量”系统消耗了多少资源”的通用标准。我在此借用这个概念并非因其工程精确性，而是它提供了一种通用的抽象计量单位。我的讨论仅基于相对投入量，不涉及具体的芯片配置、数据或人工时间的组合。请将浮点运算量视为”任何制约规模的稀缺资源”的简写。 在接下来的章节中，我将阐述若干观察，并将通常出现在不同语境中的观点联系起来。”探索”最常用于强化学习（RL）的语境，但我会在更广泛的意义上使用这个词——远超出其在 RL 中的常规角色——因为每个数据驱动系统都必须先决定收集哪些经验数据，才能从中学习。这种对”探索”的用法也受到我的朋友 Minqi 那篇精彩文章《通用智能需要重新思考探索》的启发。 本文其余部分的结构如下：首先，预训练如何无意中解决了部分探索问题；其次，为何更好的探索能带来更好的泛化能力；最后，我们未来应该将数十万 GPU 年的算力投入哪些方向。 预训练即探索 标准的 LLM 流程是先用大量文本通过下一个词预测任务预训练一个大模型，随后通过强化学习微调模型以实现特定目标。若没有大规模预训练，强化学习阶段将难以取得进展。这种对比表明，预训练完成了某些对于白板式强化学习（即从零开始）而言困难的任务。 近期研究中一个看似矛盾却普遍观察到的趋势是：小型模型一旦通过能力更强的大型模型生成的思维链进行蒸馏，就能展现出显著提升的推理能力。有人将此解读为”大规模并非有效推理前提”的证据。在我看来，这种结论存在误导性。我们真正应该思考的是：如果模型容量不是推理的瓶颈，为何小模型仍需从大模型中蒸馏知识？ 对于这两项观察结果，一个有力的解释是：预训练的巨大成本实际上是在支付一笔高额的”探索税”。未经预训练或预训练规模较小的模型，单凭自身很难可靠地探索解决方案空间并独立发现优质解法 1 。预训练阶段通过在海量多样化数据上投入巨大算力，学习到丰富的采样分布（在此分布下更可能获得正确延续），从而支付了这笔税款。而蒸馏机制则让小型模型得以继承这笔”税款”，借助大模型巨额投入所获得的探索能力实现自我提升。 为何这种预付费式探索如此重要？广义而言，强化学习循环的运行机制可概括为： 探索阶段。智能体生成若干随机探索轨迹。 强化。优质轨迹被赋予更高权重，劣质轨迹则被降权处理。 要使这个学习循环有效，智能体在探索阶段必须能够生成至少一定数量的“优质”轨迹。这一概念在强化学习中有时被称为覆盖度。对于 LLMs 而言，这种探索通常通过从模型的自回归输出分布中进行采样来实现。在这种探索机制下，正确的解决方案需要已经存在于原始采样分布中且具备一定可能性。如果低容量模型通过随机采样很少能偶然发现有效解，那么它就没有任何有用的内容可供强化。 在没有任何先验信息的情况下进行探索是一个非常困难的过程。即便在最简单的表格型强化学习设定中——每个情境（状态）和每个动作都能被列举在表格里——理论表明学习过程仍需要大量尝试。表格型强化学习中关于训练回合数的样本复杂度著名下限是 （Dann & Brunskill, 2015），其中 表示状态空间大小， 表示动作空间大小， 表示时间跨度， 表示与最优解的”距离”。这意味着最小训练回合数会随状态-动作对数量线性增长，并随时间跨度的平方增长。对于 LLMs 而言，状态空间现在包含所有可能的文本前缀，动作空间则是任意下一个标记，两者规模都极其庞大。若没有任何先验信息，这种设定下的强化学习实际上是不可能实现的。 迄今为止，探索的艰巨工作主要依赖于预训练和从轨迹样本中学习更优的先验分布。然而这也意味着，模型能直接采样的轨迹类型会严重受限于先验分布。要取得进一步突破，我们必须找到超越先验分布的方法。 探索促进泛化 传统强化学习研究往往聚焦于逐个攻破单一环境，例如 Atari 或 MuJoCo。这相当于在同一个数据点上进行训练和测试。但模型在单一环境中的表现，并不能充分说明其应对真正新场景的能力。机器学习的核心终究在于泛化能力：对于许多难题，若能预先知晓，我们完全可以设计定制化解决方案。真正的价值在于解决那些未曾见过、甚至未曾预料到的问题。 强化学习的泛化性能对语言模型至关重要。训练过程中，LLM 仅接触有限数量的提示样本，但在实际部署时却必须处理与训练样本差异巨大的任意用户查询。值得注意的是，当前 LLMs 在具有可验证奖励的任务（如编程谜题或形式化证明）中表现优异，因为这些任务的正确性易于检验。更具挑战性的问题在于将这些能力泛化至边界模糊的领域（例如生成研究报告或撰写小说），这类任务反馈稀疏且模棱两可，大规模训练与数据收集也更为困难。 训练通用化模型有哪些可选方案？深度学习的一个永恒主题是数据多样性驱动稳健泛化。探索直接控制着数据的多样性。在监督学习中，一个标注样本通过单次前向传播就能揭示其全部细节 2 ，因此增加数据多样性的唯一途径就是收集更多数据。相比之下，在强化学习中，每次交互仅能暴露环境的狭窄片段。因此，智能体必须收集足够多样化的轨迹序列，才能构建具有代表性的环境认知。若采集的轨迹缺乏多样性（例如简单随机采样），策略就可能对狭窄片段过拟合，甚至在同一环境中也会表现失常。 当存在多个环境时，这个问题会愈发严重。Procgen 是流行的强化学习泛化基准测试，它包含一系列类 Atari 游戏，这些游戏采用程序化生成环境，因此原则上每个游戏都包含”无限多”种环境。其目标是在固定数量的环境中训练固定步数后，能够泛化到完全未见过的环境 3 。 针对这一基准测试，现有方法大多将其视为表征学习问题，并采用源自监督学习的正则化技术（如随机失活或数据增强）。这些方法虽有效果，却忽视了强化学习最重要的结构要素之一——探索。由于智能体需自主收集数据，它们完全可以通过改变探索策略来提升泛化能力。在早期研究中，我与合著者已证明：仅需为现有强化学习算法搭配更强的探索策略，无需显式正则化就能使其在 […]
中国 AI 力量
