长时程 Agent：算力、记忆与功耗画像

后台推理如何把需求推向 CPU、闪存与分布式基础设施

长期来看，我认为到今年年底，后台与实时工作负载大概会是 50/50，但我预见会走向 90/10，后台占绝对优势。

—— Neil Movva，Sail Research CEO

后 ChatGPT 世界经历了三个时代：预训练、推理（reasoning），以及智能体式推理（agentic inference）。

我们已牢牢处在智能体式推理的时代。OpenAI 近期由 agent 驱动的再加速、Grok Bot、Instinct，以及许多最新发布，都让我们瞥见经济中将遍布长时程后台 agent 舰队的未来。

上周我听了 Sail Research CEO Neil Movva 的讲述：长时程 agent 的工作负载属性，与聊天或训练有本质不同。这些属性差异会波及算力、记忆与功耗的每一个维度；若长时程 agent 很快成为主导工作负载，涟漪效应将极为深远。

本文将梳理：

• 算力：对 CPU:GPU 比例的影响
• 记忆：HBM 的角色（或其缺席）
• 功耗：小型模块化反应堆（SMR）

算力：CPU:GPU 趋向平价，核心数上升

这是眼下共识最强的判断之一。

长时程 agent 用 GPU 思考，用 CPU 执行。思考与执行之比，最终有望使数据中心的 CPU:GPU 达到平价——相较第一代 AI 工厂约 1:8 的比例，这是一次陡峭跃升。

随着 AI 从训练扩展到推理，并日益走向智能体与多智能体系统，通用服务器 CPU 密度将继续提升。

—— Lip-Bu Tan，Intel CEO

我们现在认为几乎已接近平价，甚至最终可能在单元数量上更偏向 CPU。

—— David Zinsner，Intel CFO

正如 Rene Haas 在 Arm 财报电话会上所说，核心数直接驱动 agent 性能。

智能体工作负载本质上在吞吐上受 CPU 数量的产能约束。

运行智能体工作负载时，更多核心是更好的结果，因为软件开销更简单。你可以在单核上跑虚拟机或虚拟作业，吞吐效率会高得多。

与嵌入 GPU 节点内部的 CPU 不同，独立的 CPU 服务器将运行隔离的沙箱环境，以执行代码、爬取网页、调用实时 API。例如，微软 Fairwater 亚特兰大园区有一座约 300 MW 的 GPU 楼，另有一座约 48 MW 的 CPU 与存储楼，专用于运行这些执行环境。

SemiAnalysis 发表过一篇出色文章，梳理了 x86 厂商、带 CPU 的加速器公司、超大规模厂商自研 Arm CPU、商用 Arm 厂商以及中国 CPU 供应商等各方的 CPU 布局。

Sail Research 本身也把长时程 agent 工作负载当作系统问题来攻克。

它不孤立优化推理，而是把推理与执行耦合在一起。Sailboxes 是 agent 真正运行的持久执行沙箱环境。当 agent 阻塞在推理上时，沙箱会自动暂停，并在响应到达时恢复。你不再为 agent 只是在等待而支付已分配算力的费用。

随着 agent 运行延伸到数小时乃至数天，算力提供方将不得不针对这种在「思考与执行」、在「挂起与恢复」之间震荡、并随状态累积而变化的工作负载本质来做优化。

记忆：HBM 与容量权衡

从根本上说，推理全关乎数据流。

深度学习给了硬件一种异常规整的工作负载：大规模张量运算、已知依赖、重复层，以及足以支撑专用硬件与昂贵编译的复用。推理把这推得更远。同一个模型可能执行数十亿次，而延迟越来越取决于权重与 KV cache 存放在哪里、激活如何在各阶段间移动，以及通信能否与计算重叠。

记忆越靠近算术单元，每一次有效访问就越快。但容量通常下降，每存储比特的成本上升。离得越远，系统能以更低成本容纳更多数据，但必须等待更久，并花费更多力气把数据搬回计算端。

这就是为什么计算机有记忆层次结构，而不是一种万能记忆。NAND 提供持久容量；DDR 提供大型主机工作空间；HBM 在加速器近旁提供高聚合带宽；SRAM 与寄存器则保存小得多、足以立即复用的数据碎片。

GPU tensor core 对存放在记忆中的权重与 KV cache 做矩阵乘——transformer 中的注意力机制，依赖对 prefill 阶段算出的全部 KV 对在 decode 时做查找。

Transformer 在更大上下文窗口上比 RNN 准确得多，但必然消耗更多记忆——decode 会增长 KV cache，并且每生成一个新 token 都需要读取模型权重。这就是为什么 decode 是记忆受限、prefill 是算力受限——有了 agent，由于密集的记忆消耗，GPU 利用率会显著下降。

模型规模与大致层数：

• 1–3B 参数 ~24–32 层
• 7–13B 参数 ~32–40 层
• 70B 参数 ~80 层
• 100B+ 参数 ~100+ 层

当然，前沿模型如今已是万亿参数量级，Grok 5 估计超过 6 万亿参数。这些权重轻松超过 1 TB 文件大小。Kimi K3 为 2.8T 参数，在 MXFP4 下约 1.4 TB。

记忆带宽是 decode 的限制因素，这也是为什么 Nvidia 成了 HBM 最大客户，以及为什么未来数年三家主要供应商（三星、SK 海力士、美光）的 HBM 均已售罄。

HBM 通过 3D 堆叠逐代提升带宽，本质上是一种封装创新。

通过 3D 堆叠扩展 HBM 面临两大挑战。

首先，HBM 很大程度上靠蛮力并行获得高带宽：成千上万相对较慢的电连接贯穿堆叠 die，而不是少数真正高速的链路。这些硅通孔（TSV）与微凸点占用稀缺的芯片「岸线」（shoreline），引入会劣化信号的电容，并随着速度提升在功耗、散热与封装复杂度上变得愈发昂贵。

HBM 面临成本、功耗与散热相关挑战。其复杂的 3D 堆叠制造与封装昂贵。虽然 HBM 在每字节传输数据上效率很高，但随着记忆容量与带宽增加，总体功耗仍会上升。更多功耗意味着更多热量，可能造成热问题并影响可靠性与性能。

—— Austin Lyons

其次，生产 HBM 的晶圆厂并不倾向为满足未来需求而大幅扩产——它们曾饱尝记忆市场的周期性之苦。

这就是为什么记忆带宽未能跟上算力。

关键在于绕开 HBM 短缺，把重点放在更极端地卸载到闪存等其他记忆形式上。我对这个想法非常热衷。团队里每个人都知道我一直在敲鼓：我们得对模型架构做什么改动，才能让把 KV cache 卸载到闪存在更大程度上跑通。

使用 HBM 的底层前提，是优先延迟而非容量。

若长时程 agent 成为主导工作负载，记忆层次会是什么样？SRAM 或 HBM 用于活跃 decode，DDR 用于较热状态，闪存则承载大得多的非活跃 KV cache、检查点与 agent 历史。

与其通过缩短距离或压缩来攻破记忆墙，长时程 agent 更适合池化（pooling），即利用另一记忆层级。

聊天推理几乎把整个实时请求都放在加速器记忆里；成熟的长时程系统可能反转这一比例：也许 5% 的 agent 状态在 HBM，95% 在闪存。HBM 仍会承载几乎全部活跃 decode 流量，但不再需要持有每一个等待运行的 agent 所累积的状态。

一个长时间运行的 agent 会累积工具输出、文档、代码、浏览器状态、子 agent 消息以及恢复所需的检查点。这些状态在任务全程持续增长。在 agent 等待 API、另一 agent 或人工审批时仍把状态放在 HBM 里，等于把数据中心最昂贵的记忆预留给一个空闲进程。

闪存成为「停车层」：HBM 持有当前 decode 突发所需状态，而恢复休眠 agent 所需的大得多记录则坐在冷存储里。

中国晶圆厂如长江存储（YMTC）与长鑫存储（CXMT）已开始分别出货有竞争力的 NAND 与 DRAM 产品，最终将使该市场商品化，从而使长时程 agent 的状态存储便宜几个数量级。

功耗：用集中换聚合容量

想法是，无论哪种情形，我都不想和 Anthropic 或 OpenAI 竞价抢算力。我赢不了他们，也不想赢。我想更有创意，使用他们今天还不觉得「可读」的供给。随着时间推移，我积累足够的聚合供给。我永远得不到集中供给，只会得到聚合供给。而随着时间推移，我建成在经济性上无可匹敌的聚合工厂。

我们在建一座工厂。我们想建世界上最好的钢铁厂。但它会通过迷你钢厂实现，而不是大型单体钢厂。

正如记忆在延迟与容量之间权衡，功耗则在正常运行时间（uptime）与容量之间权衡。

训练需要算力高度集中。聊天推理是下一阶，仍偏爱算力密度以交付快速 decode。

长时程 agent 可以利用一舰队小型算力池，正如 Neil 所描述：

我认为市场仍假设我们必须去撬动那些能找到的 100 兆瓦和十兆瓦数据中心。很多数据中心开发商仍是这种态度。但我们越来越多看到一些新思考者意识到：推理适合这些分布式的一兆瓦数据中心。我们对此相当认同，也非常乐于在美国各地购买小池算力，作为我们的推理舰队。

十兆瓦大概是今天可能的边缘。而一兆瓦，我会说是充裕的。因此市场有一个不可思议的「地板」：你可以找到大量聚合电力，但它不会是集中的。

长时程 agent 运行时的角色，是把 agent 路由到这些分布式算力上，使一千个一兆瓦池匹敌一座吉瓦级园区的性能。

此外，一旦 agent 的状态活在加速器之外，agent 就不再绑定某台特定服务器。agent 可以在一处挂起，状态持久化到存储，再在电力与加速器可用的任何地方恢复。闪存所做的不止于降低 HBM 需求：它把碎片化的算力池转化成可互换的舰队。

吉瓦级园区仍然极难建设，OpenAI 与 Anthropic 很可能会在未来数年捕获大部分新增增量算力。

当实验室争夺更大池子时，更小的棕地与绿地池将有机会。

为此：

• 像 Crusoe 这样的 Neocloud 正在建设可从数百千瓦扩展到数十乃至数百兆瓦的模块化数据中心；另一些如 Megaport 则以个位数兆瓦构建块建设分布式推理产能。
• 小型模块化反应堆（每模块 <300 MW）正从演示走向量产，例如 Valar Atomics。
• GPU 市场如 SF Compute、Akash Network、Prime Intellect、Andromeda 在增长。
• Bloom Energy 将其燃料电池封装为紧凑能源服务器，4 到 6 个服务器模块组合成 200–300 kW 模块；FuelCell Energy 则推出 12.50 MW 公用事业级电力块，今天可用管道天然气运行，日后可过渡到绿氢或沼气。

结论

共通线索是优化单元的变化。

训练为 FLOPs 优化，聊天为到 token 时间（time-to-token）优化；长时程 agent 将日益为每完成任务的成本优化。此前次优的资源变得经济上有用：CPU 执行，闪存仓储状态，小型算力与电力池由 agent 运行时缝合在一起。HBM 与吉瓦园区将继续服务快速推理市场，但那或许不再是主导工作负载。