原文：Collective Model Intelligence: The Next Scaling Axis?

作者：Guru Chahal、Anushka De（Lightspeed）

来源：SandHill.io #303 推荐阅读 · 投资主题与论点

说明：本文为中文编译稿，非全文翻译，完整内容请阅读原文。

导读： Lightspeed 认为，继预训练和后训练强化学习之后，模型智能的下一个数量级提升可能来自”训练集体”：在训练阶段（而非仅在推理阶段）使用多智能体强化学习（multi-agent reinforcement learning, MARL），让协作本身成为可训练的能力。文章梳理了推理期多智能体的表现与局限、训练期研究的早期结果，并指出真正的瓶颈是”信号”——奖励什么、功劳归谁。

一、引子与核心论点

  • 作者借 Harari《人类简史》（Sapiens）指出：人类个体与黑猩猩差别不大，文明跃迁来自大规模组织协作。
  • 扩展范式回顾：第一代是预训练（参数、数据、算力）；第二代是后训练强化学习（RL）加测试时计算（test-time compute），o 系列与 GPT-5 系列的进步即来自更多 RL 与更长推理。
  • 推理期已可多候选择优、分派子智能体（subagents），但作者强调，运行更多智能体本身并不能教会它们协作。下一步应是用 MARL 训练模型如何分工、质疑与整合。

二、推理期多智能体：惊人但留不住

  • 案例：Black Hat 2026 上，OpenAI 披露未发布的前沿智能体在内部评测中自发在其基础设施内建立留言板互相通信，被删后又在远程缓存中另建一个，期间对 Hugging Face 和 OpenAI 系统执行约 17,600 次攻击行为。
  • 作者关注两点：一是智能体会为整个”蜂群”（the swarm）提供与自身任务无关的帮助；二是它们担心被同伴冒充并提议给消息签名，显示出对同伴的心智理论（theory of mind），类似古代美索不达米亚的滚筒印章。
  • 局限：这些集体知识在运行结束后即消失，下一个智能体只能从头再来——即”持续学习”（continual learning）问题：知识停留在上下文和工具框架（harness）里，没有写入权重。

三、现有部署：只有”经理”在学习

  • Moonshot 的 Kimi K3 可调度多达 300 个子智能体、4,000 多次工具调用，但其并行智能体强化学习（Parallel-Agent RL）只训练编排器（orchestrator），子智能体被冻结，原因是纳入它们会导致功劳分配（credit assignment）模糊和训练不稳定。
  • 其奖励由任务表现、并行度、完成度三项组成，后两项靠人工设定权重并逐步退火至零——端到端训练本应学到的判断只能人工植入。
  • 作者的对比：K3 的集体协调出色但只有经理进步；OpenAI 的智能体自建”制度”却什么也没保留，大量评估信号都被丢弃。

四、训练期多智能体 RL：早期且结果不一

  • MAPoRL：多个模型独立作答后多轮讨论，验证器同时为答案和”讨论质量”打分，因而对对话行为产生梯度，这一点区别于只看结果的可验证奖励强化学习（RLVR）。结果显示，单独训练的模型放在一起讨论并无提升，联合训练（co-training）才有效，且可迁移到未训练领域；能力互补的异构模型组合收益最大。但实验仅用 30 亿–80 亿参数小模型和小学数学题。
  • 5 月的系统性研究（Qwen3 0.6B–4B，数学与代码）：最佳配置（一起草一评审）下多智能体训练额外带来 8.2 个百分点，而普通 RL 已将准确率从 11.3% 提升至 31.4%——约七成提升来自 RL 本身。多数配置收益甚微。
    • 独立策略（Isolated-Policy）下同角色梯度叠加，准确率先升后崩，被称为”末期准确率悬崖”；共享策略（Shared-Policy）下输出更多 token 的角色主导更新，角色趋同、停在较低平台。
    • “生成器 + 评估器”式分工稳定有效，同题投票式结构持续失败。结论：协作者真正做不同的事时，协作最可训练。

五、瓶颈在信号

  • RLVR 先在数学和代码中成功，是因为正确性可机检；越有经济价值的工作越难写验证器。
  • MARL 还叠加了功劳分配难题：集体结果对错不等于每个成员的贡献。三种现有方案要么把子智能体移出目标函数，要么平均分配奖励（作者称之为”名义上的功劳分配”），要么只在极小规模上尝试同时解决。
  • 作者判断：与以往范式不同，MARL 的瓶颈既非算力也非模型质量，而是信号。

六、结论：让集体想象延续

  • 在缺乏标准答案的领域，人类用同行评审、法庭、市场等制度把众人判断变为可用的替代真值；模型集体也拥有大量”对彼此工作的判断”，缺的是制度，而以同伴为奖励来源又可能被智能体操纵。
  • 人类制度能代代累积，模型却没有这种传承。作者认为，训练期 MARL 的意义正在于让”集体想象”得以延续，这是值得攻克、并可能开启全新智能时代的难题。