推理领域的圈地大战开始了:Jensen 知道未来在于运行模型,而不是训练模型
本文信息来源:investinginai
周日快乐,欢迎来到《Investing in AI》。如果你还没看过,一定要去看看纽约的 AI in NYC 节目。在 最新一期节目中,我们讨论了 ChatGPT Health,以及 Grok 的非自愿图像风波,团队还用 Grok 做了一张我的搞笑图片(第 27 分钟)。另外,如果你听说过“system 1”与“system 2”思维,并且你正在构建 system 2 AI,欢迎查看 Neurometric Leaderboard,这是唯一一个专注于 system 2、多轮或多步骤 agentic 工作流的排行榜。如果你的系统设计已经超越 system 1,我们可以帮助你选择合适的模型。
今天我想谈谈 NVIDIA 收购 Groq 以及这一举措在战略层面意味着什么。我们先从 NVIDIA 实际上买了什么说起。
NVIDIA 并不是以传统意义上收购 Groq。沿用其在 9 亿美元 Enfabrica 交易以及 Microsoft 的 Inflection 交易中采用的“acqui-hire”蓝图,NVIDIA 正在获取 知识产权(IP)和人才 ,同时保留公司的空壳,以避免触碰反垄断雷区。
- LPU 架构:NVIDIA 现在持有 Groq 的 Language Processing Unit(LPU)IP 的非独家许可证——这是一种以 SRAM 为基础、从零开始为速度而设计的确定性架构。
- 人才:Groq 约 90% 的员工(约 550 人)将加入 NVIDIA。其中包括创始人 Jonathan Ross(Google 的 TPU 共同创造者)以及总裁 Sunny Madra。
- 剩余业务:GroqCloud 将在新任 CEO Simon Edwards 的领导下继续独立运营,为其现有的开发者群体提供服务。
这种结构使 NVIDIA 能够部署其 600 亿美元以上的现金储备 ,在不引发全面并购所带来的监管摩擦的情况下“掏空”一名竞争对手。这是一种外科手术式的价值撤离。
这完成了 Nvidia 的 AI 工厂
Nvidia 已经主导了“训练(Training)”市场。通过 Groq,他们正在牢牢掌控“推理(Inference)”。首席执行官黄仁勋指出,其目标是 “将 Groq 的低延迟处理器整合进 NVIDIA 的 AI 工厂架构中。”
引入 Jonathan Ross 是一记高明的防御之举。Ross 打造了 TPU,这是唯一在规模化层面上真正挑战过 Nvidia 主导地位的芯片家族。通过将他纳入麾下,Nvidia 将其最具可信度的威胁转化为自身最重要的架构师。
这笔交易是更广泛的“现金转护城河(Cash-to-Moat)”转化策略的一部分。过去一年里,Nvidia 通过对 Crusoe、Cohere、CoreWeave 的大规模投资,甚至提出对 OpenAI 的 1000 亿美元持股 ,积极推动 GPU 替代方案要么成为盟友,要么成为其子公司。
弥补“推理鸿沟”的弱点
尽管 Nvidia 的 GPU 是训练领域的黄金标准,但在推理方面存在着内在的架构盲点。GPU 是概率型且以批处理为导向的;当同时处理海量数据时,它们才能发挥最佳性能。
相比之下,Groq 的 LPU 是确定性且以单 Token 为导向的。

随着 AI 模型逐渐商品化,运行模型(推理)的经济性比构建模型(训练)的成本更为重要。像 Google(TPU)、Amazon(Trainium)和 Microsoft(Maia)这样的超大规模云服务商,都在构建自研芯片以摆脱“英伟达税”。Groq 曾是唯一一家为实时工作负载(如语音 AI、机器人技术和自主系统 )提供“足够好”替代方案的独立初创公司。通过中和 Groq,Nvidia 已经移除了这条逃生通道。
这对推理格局意味着什么
向市场发出的信号非常明确: 推理才是长期收入所在。 训练是一项规模庞大的一次性 CapEx 事件;而推理则是每当用户向模型发出提示时都会发生的、可持续扩展的经常性 OpEx。
- 整合正在加速: 像 Cerebras、SambaNova 和 Tenstorrent 这样的初创公司,如今面临的竞争对手不仅拥有最好的训练芯片,还掌握了最强的推理 IP。
- 投资组合影响: 对投资者而言,Nvidia 的护城河刚刚显著加深。然而,独立“AI 芯片”项目所面临的风险已急剧上升。你现在是在与一家可以豪掷 200 亿美元、只为给自身技术栈买下一个“功能”的公司竞争。
剩余的参与者
这不仅仅是一笔芯片交易;它是保险。 以 200 亿美元的价格,NVIDIA 支付了巨额溢价,以确保当世界从构建 AI 迈向使用 AI 时,其生态系统不存在任何可信的替代方案。他们通过收购最顶尖的技术来发动进攻,同时也通过确保别人无法获得这些技术来进行防守。
对 Groq 而言,这个 200 亿美元的标价买到的不仅是一颗芯片;它买下的是一道“速度护城河”,迫使剩余的参与者重新思考自身的生存策略。以下将更深入地审视后 Groq 时代仍然独立存活的推理领域玩家,以及他们的护城河发生了怎样的变化。
还剩下什么?让我们来看看市场中正在发生的架构性“碰撞”。每一家仍在场的初创公司,都在押注一种不同的、用于数据传输的物理方式。
- Cerebras(晶圆级): 通过把芯片做得极其庞大,他们避免了在不同芯片之间传输数据所产生的“税负”。这是在速度方面最极致的蛮力解决方案。
- SambaNova(可重构数据流): 他们允许硬件在物理层面上重新排列自身,以匹配 AI 模型的“形状”。
- Tenstorrent(RISC-V): 他们采用“乐高”式的方法——小型、模块化的芯粒,可以组合起来,为汽车、机器人或服务器打造定制化的 AI 大脑。
剩余的护城河:他们为何(暂时)还没出局
尽管 Nvidia 占据主导地位,仍有三个因素让这些独立参与者得以继续留在赛场上:
- 供应链焦虑: 主要云服务商(Azure、AWS)以及大型主权国家和地区(欧盟、日本、中东)都对 NVIDIA 形成全面垄断感到极度不安。为了保持定价杠杆,他们将持续为“替代方案 #1”和“替代方案 #2”提供资金支持。
- “内部化”的限制:Nvidia 对 Groq 的收购是一项“资产购买”。要将 Groq 的 LPU 技术完全融入下一代 Rubin 或 Vera Rubin GPU 架构中,需要 12–18 个月。在这段窗口期内,像 Cerebras 这样的初创公司有机会抢占市场份额。
- 边缘计算 vs. 数据中心: 虽然 Nvidia/Groq 主导着庞大的数据中心,但“边缘”——你汽车里、眼镜中或工业机器人内的芯片——仍然是一片尚未充分开拓的前沿领域,在这里能效比纯粹的 token 速度更为重要。
到 2026 年底,所有人的注意力都将集中在推理经济上。如果你要下注投资方向,这里就是起点。
感谢阅读。