突破内存墙：HBM 的崛起与路线图
本文信息来源：semianalysis
HBM4、自定义基底芯片、Shoreline 扩展、工艺流程、中国国产化、三星认证
本报告的前半部分将解释 HBM、制造工艺、供应商之间的动态、KVCache 卸载、解耦预填充解码以及宽/高秩扩展处理器。报告其余部分将深入探讨 HBM 的未来。我们将涵盖 HBM4 将带来的革命性变化——为 HBM 定制基片（base die），以及不同加速器厂商对定制 HBM 的做法，包括 OpenAI、Nvidia 和 AMD，海岸线区域问题、内存控制器卸载、中继器物理层（PHY）、LPDDR 与 HBM 的组合方案，以及各种滨海扩展技术。我们还将讨论 SRAM 标签、内存下计算、供应链影响以及三星。
HBM 简要概述
随着 AI 模型日益复杂，AI 系统需要具有更大容量、更低延迟、更高带宽和更高能效的内存。不同形式的内存在权衡上各有优劣。SRAM 速度极快但密度低。DDR DRAM 密度高且成本低但带宽不足。如今最流行的内存是片上 HBM，它在容量与带宽之间取得了平衡。
HBM 将垂直堆叠的 DRAM 芯片与超宽数据通道相结合，在带宽、密度和能耗方面为 AI 工作负载提供了最佳平衡。HBM 的制造成本远高于 DDR5，因此价格也应有溢价，但需求依然强劲。所有用于生成式 AI 训练与推理的主流 AI 加速器都采用 HBM。加速器路线图的共同趋势是通过增加堆栈数量、提高层数以及推出更快一代的 HBM 来扩大每颗芯片的内存容量和带宽。依赖其他形式内存的架构在性能上并非最佳选择，正如我们已证明的那样。
在本报告中，我们将审视 HBM 的现状、供应链动态以及未来正在发生的开创性变革。我们将探讨 HBM 在 AI 加速器架构中的关键作用、HBM 对 DRAM 市场的影响，以及它为何正在颠覆内存市场分析的方法。针对订阅用户，我们还将解答关于三星作为供应商未来可行性的主要问题，并强调一项可能逆转 HBM 容量持续增长趋势的技术变革。
HBM 入门
首先，对 HBM 做一个简要介绍——是什么让它与众不同以及制造上的挑战。尽管 HBM 通常与多个 DRAM 芯片堆叠成 3DIC 封装联系在一起，另一个关键特征是 HBM 更宽的数据总线，即使在信号速率一般的情况下也能提升带宽。这种显著更宽的总线使得 HBM 在每个封装的带宽方面远优于任何其他形式的内存。
更多的 I/O 意味着更高的走线密度和更复杂的布线。每个 I/O 都需要独立的导线/走线，此外还需要为电源和控制布置额外的线缆。对于 HBM3E 堆栈，临近 XPU 与 HBM 之间的导线数超过 1000 根。这种级别的走线密度在 PCB 或封装基板上无法实现；因此需要在类似 CoWoS 的 2.5D 封装组合中使用中介层（硅或有机中介层）。
为了降低数据传输的延迟和能耗，HBM 需要直接放置在计算引擎的岸线附近。这使得岸线（SOC 的边缘）更具价值，因为 HBM 只能局限于 SOC 的两侧边缘，另外两侧边缘则保留给封装外的 I/O。这限制了 HBM 的放置区域，并需要对存储芯片进行垂直堆叠以提供足够的容量。
为了实现 3DIC 封装形式，堆栈中的每一层（顶层除外）都需要有通孔硅穿孔（TSV），以向上方的层提供电源和信号。为容纳这些 TSV 而额外占用的面积，是使 HBM 芯片尺寸比同等 DDR 更大的原因：Sk Hynix 的 D1z DDR4 位密度为 0.296 Gb/mm²，比其 HBM3 的 0.16 Gb/mm²高出 85%。这种 TSV 工艺是标准 DRAM 与之不同的关键之一，而相关制造工具也是将普通 DDR DRAM 晶圆产能转换为 HBM 产能时的主要瓶颈。
另一个区别在后端，HBM 需要堆叠到总共 9 层或 13 层（在底部逻辑基底芯片之上分别有 8 层或 12 层 DRAM）。连同 CoWoS 一起，HBM 已将封装技术带入主流。像 MR-MUF 这样的利基封装技术现在已成为行业参与者的常识。
爆炸性比特需求
我们可以看到，随着 AI 加速器需求的增长，HBM 比特需求也出现了巨大的增长。尽管定制 ASIC 快速崛起，受其激进路线图推动，Nvidia 在 2027 年仍将掌握 HBM 需求的最大份额，其中仅 Rubin Ultra 就将每块 GPU 的容量推高到 1 TB。随着 TPU 和 MTIA 出货量激增，Broadcom 位居其后，而 OpenAI 和 SoftBank 的增量项目虽较小但也带来明显提升。Amazon 也成为重要的 HBM 大客户之一。对于 Amazon 来说，其策略是直接采购 HBM 而非通过设计合作伙伴，从而帮助降低成本。有关按芯片细分的比特预测，请参阅我们的 Accelerator Model。该模型包括按内存供应商划分的收入与比特需求预测，以及按供应商细分的晶圆启动量和 TSV 容量。模型还追踪不同代 HBM 的定价，并提供逐芯片的 HBM 类型、层数、堆栈数量、容量和带宽。
工艺流程： 前端
当常规 DDR DRAM 容量“转换”为 HBM 容量时——主要变化是增加了用于形成 TSV 的工具，以及更多的凸点处理能力，因为 HBM 晶圆需要双面凸点。这两个步骤都是为了实现 3D 堆叠。然而，这不包括用作顶层芯片的晶圆，顶层芯片只需一面凸点且不需要 TSV。
通孔硅通孔（TSV）需要刻蚀机来开通孔，并需要沉积和电镀设备来填充。为显露 TSV，还需使用研磨机、另一道刻蚀工序以及用于在此过程中固定载片的临时粘合设备。这就是为何 HBM 产能现在以 TSV 产能来计量，因为这是将 DDR 晶圆转变为 HBM 晶圆时主要新增的一系列工艺。
用于凸点工艺的主要包括沉积、电镀和剥离。此外，Camtek 和 Onto 的光学检测设备可用于检查凸点是否存在缺陷并且轮廓是否正确。
工艺流程：封装
另一部分是后端封装，Hynix 继续推进他们的 MR-MUF，我们在此处做了详细报道。简而言之，MR-MUF 提供更高的生产率和更好的热性能。Hynix 的专有（与 NAMICS 共同开发）模塑填充材料比 Micron 和 Samsung 使用的非导电薄膜具有更好的热散逸能力。Hynix 已能规避热压键合（TCB），因为他们找到了其它方法来控制翘曲。TCB 的一个好处是通过施加压力来稳定键合材料。
而使用外力则增加了对凸点造成损伤的风险。在对凸点施加应力的情况下，SK 还可以增加更多无功能凸点，这也有助于热量散逸。
该工艺的产率也远高于以往。用于焊点形成的是批量回流和单次覆盖模塑步骤，而使用 TC-NCF 时，每一层的焊点形成都需完整的 TCB 步骤。
工艺流程：良率
与其他 DRAM 封装形态相比，HBM 在技术上更为复杂，尤其是其高密度 3DIC 叠层。因此，其封装良率难以与制造商在更传统产品上习惯的水平相提并论。然而，前端（晶圆制造）良率同样具有挑战性，我们认为前端良率问题更为突出。如前所述，HBM 对速度分档的要求并不高，那么为何会出现这种情况？
原因要追溯到 3DIC 组装和通孔硅穿（TSV）。其中一个挑战是电源分配网络（PDN），TSV 需要能够将电力输送到堆栈上方。TSV 的布局和设计是专有的，也是各制造商之间主要差异化的领域之一。
HBM 的关键挑战之一是通过电源 TSV 向堆栈供电。刷新操作尤其耗电，因此电源分配网络的设计至关重要。海力士的 HBM3E 减少了外围面积，并在晶片上引入了环绕式电源 TSV，而不是设置两组电源 TSV，从而使 TSV 数量几乎增加了 6 倍。结果，SKH 实现了显著更低的 IR 掉落，VPP 的掉落最多降低了 75%。
同样，镁光在 HBM 技术上的意外跨越（镁光甚至未提供标准 HBM3）归因于其对 TSV 和电源传输网络的重视。TSV 网络似乎很可能成为差异化点，使镁光声称功耗降低 30%，尽管该说法尚未得到验证。
另一方面是在功耗和散热限制内实现承诺的速度。与所有 3DIC 封装一样，散热是个问题，尤其是 DRAM 怕热。超大规模云服务商的数据表明，HBM 故障是 GPU 故障的头号原因，而 GPU 在数据中心的故障频率高于其他芯片。
所有厂商的绝对良率都远低于它们习惯的传统内存晶圆良率，因此关键在于相对良率和最终经济效益。对 SK 和 Micron 来说，良率损失被高定价更多地弥补，因此 HBM 对利润有利。对三星来说，良率甚至更差。讽刺的是，它们的低良率收紧了整体 DRAM 晶圆供应，反过来推高了价格。
这就引出层数问题。层数越多越难实现。简化地说，如果单层的堆叠良率为 x%，则每一层的良率会在 n 个粘合步骤上以 x% 的幂累积（粘合步骤数等于总层数减 1）。以每层堆叠良率为 99% 的 8 层堆栈为例，总良率将为 92%。而对于 12 层堆栈，则降至 87%。当然，这个计算过于简化。随着层数增加，良率会下降，因为非关键的堆叠缺陷会累积。例如，少量但可接受的若干层之间的非共面性，在更高层数时可能导致不可接受的共面性问题。
工艺流程：键合工具，SK 海力士与汉美的戏剧性纠葛
键合或芯片粘接步骤是影响良率的关键环节，因此需要复杂的设备。随着 TSV 间距约为 40 微米，键合机必须具备个位数甚至亚微米级的对位精度。均匀的压力分布也至关重要，以免产生在多层堆叠中会累积的翘曲。当然，产能也很重要，因为它决定成本。
Hanmi 早期押注于为 HBM 推出热压（TC）键合机——当时该细分市场被市场领导者 Besi 和 ASMPT 忽视。这一策略在当前的 HBM 工艺中几乎换来了垄断地位。在 SK Hynix，直到去年秋天，他们的市占率一直为 100%，直到 Hynix 向竞争对手 Hanwha 订购了大量设备。据称，Hynix 为这些设备向 Hanwha 支付了更高的价格。
这在 Hanmi 内部引发了轩然大波，他们可以理解地对竞争对手在未通过 Hynix 的 HBM 供货工艺资格认证的情况下竟以更高价格获胜感到愤怒，而 Hynix 是最大的、最重要的 HBM 客户，且其供货关系还涉及 Nvidia。
争端在四月初达到高潮，当时 Hanmi 将其现场服务团队从 SK 海力士的晶圆厂撤出。没有了服务，海力士的旗舰产品将在数周乃至数月内无法出货。长期来看，这将威胁整个加速器供应链，因为美光和三星不可能迅速填补产能空缺。Hanwha 的设备尚未交付，而去年秋天订购的一批 ASMPT 键合机不适用于海力士的 HBM3E 12 层堆栈。这使得晶圆厂别无选择，只能向 Hanmi 求情求原谅。
在巨大压力下，近几周 SK 海力士向 Hanmi 下了一笔小订单。看来这更多是为了安抚 Hanmi，而非大批量采购，但这已经足以恢复设备的现场服务。随着 ASMPT、Besi 等厂商加紧改进针对 HBM 的 TC 焊接机，Hanmi 或许难以再从其垄断地位中榨取更多利益。
中国：CXMT 与华为 HBM
出口限制禁止向中国转移所有原始 HBM 封装；然而，只要不超过 FLOPS 限制，集成 HBM 的芯片仍可出货。目前， 被禁的 HBM 仍通过涉及 CoAsia Electronics、Faraday 和 SPIL 的网络再出口到中国 ，使中国终端用户能够对 GPU 封装进行拆焊并回收 HBM。
由于 HBM 是加速器的关键元件之一，且出口限制可能切断 HBM 供应，中国自然将大量资源投入国产化发展。中国计划在未来五年为本土半导体提供 2000 亿美元补贴。预计其中一大部分将用于 HBM。DRAM 国家队 CXMT 正在积极扩充 HBM 产能，囤积大量设备以抵御更新的出口管控（美国在 2024 年 12 月加强了对 HBM 的管控，韩国随后也有相关措施）。HBM2 8 层将于 2025 年上半年进入量产，TSV 能力到年底将与 Micron 相匹配。
华为向来对任何高科技市场都兴趣盎然，它拥有自己的 HBM 关联企业：XMC（武汉新芯）负责生产 HBM 晶圆，SJSemi（盛和晶微半导体）负责封装。目前产能处于研发规模，尚非大规模量产，但计划在未来几年内扩大产能。XMC 和 SJSemi 均为列名实体，因而被限制购买含有美国原产成分的设备（尽管 GlobalFoundries 最近因向 SJSemi 无许可证出售超过 1700 万美元的芯片而受到轻微处罚）。
HBM 堆叠层数——追求更高，还是选择混合连接？
HBM 堆栈中的层数越多，内存容量越大。每一代的层数都在增加。到目前为止，这种堆栈高度都控制在一个 720 微米高的立方体内（当前 JEDEC 标准）。为了容纳更多层，每片芯片（不包括顶层芯片，顶层需要更厚以在后续封装过程中经受搬运）都被做得更薄，芯片之间的凸点间隙也被缩小，以腾出更多空间放入更多层。更薄的芯片越来越难以处理，因此更容易翘曲和断裂，从而降低良率。
混合键合（HB）对 HBM 的主要好处在于它无凸点。通过消除凸点间隙，可以腾出空间容纳更多的 DRAM 核心层。 这同时带来了大量新的良率和成本挑战， 这些问题可能不值得为此付出，特别是 HBM 并不需要混合键合所提供的那种互连密度。相反， 厂商正在探索在混合键合中放宽焊盘密度的程度，以降低对对位精度的要求，使该技术对 HBM 更可行。HB 还在功耗和散热方面带来一次性好处，但其主要优势在于减小堆栈高度。
HB（混合键合）在 HBM 中的采用一直被视为“下一代”技术，而目标不断在变化。对于 D2W 混合键合而言，使 2 层结构的良率达到可接受水平极其困难且成本高昂。想象一下将这一难题扩展到 16 层及以上。内存厂商在混合键合技术开发方面仍处于非常早期阶段。根据台积电的经验，HB 的采用花了很长时间才达到量产规模，即便在先进逻辑中性能优势更加明显——其采用速度依然很慢。
HBM3 和 HBM3E 将扩展到 12 层叠片，并采用基于凸点的互连，在当前 720 微米堆叠厚度下，12 层已接近极限。要进一步增加层数有两个方案：要么取消凸点（bump-less），要么让堆叠更高/更厚。对混合键合的采用来说，这是一次打击，因为后者被选中，JEDEC 已确认将堆叠高度放宽到 775 微米。
高度放宽还可以更进一步。775 微米是硅晶圆的标准厚度。HBM 需要与其共封装的逻辑芯片保持相同高度。要实现高于 775 微米的堆叠，逻辑晶圆也必须更厚，而现有设备并不支持更厚晶圆。一种可能的解决方案是提高逻辑下方互连基板的模封高度，以抬高逻辑并确保与相邻 HBM 的共平性，但这会拉长走线，并且为互连实现硅桥并非易事。
尽管最初关于在 HBM4 上实施 HB 的讨论更多，但这一计划已回退到 4E。最近，海力士和美光在 HB 采用上都明显沉默许多，而三星的声音最大。这符合三星的常态：他们常常在宣传最激进的技术实施以试图追赶，但在执行上常常失败，结果反而落得更远。
通过提高堆叠高度可以解决 16 层的问题，但要达到 20 层及以上，可能需要进一步缩小凸点间隙并加薄晶圆，或者我们干脆在 16 层止步。更高的堆叠可以带来更高的密度，但更多的堆叠既提供带宽也带来密度。
吞吐量优化：I/O 是 AI 加速器的命脉
AI 加速器的关键定义特征是高度并行化并针对吞吐量进行优化。加速器通过牺牲运算的复杂性来最大化每秒可执行的总运算量。大多数加速器专注于用于通用矩阵乘法（GEMM）的乘法和加法运算，这些运算在 AI 训练和推理工作负载中占主导地位。相比之下，CPU 也关注每秒可执行的指令数量，但 CPU 内核更“聪明”，这需要更多电路和面积。因此，CPU 设计用于执行范围更广、更复杂的任务，但吞吐量要低得多。
这意味着人工智能加速器需要大量片外带宽用于内存以及横向扩展和纵向扩展互连。带宽既要将处理后的数据移出芯片，又要为加速器单元提供更多待处理的数据。如果带宽不足，XPU 的计算单元将无法得到充分利用，从而使得这些并行计算能力的存在失去意义。我们先从内存需求开始
内存内容增加
为了提供更高的性能——在加速器路线图中，增加内存容量和带宽与提升浮点运算性能同等重要且一目了然。容量和带宽正在三个维度上扩展：
- 新一代 HBM 通过更快的信号速率和更高密度的核心芯片实现更高带宽
- 增加每堆栈的层数可提高容量。我们正处于 12 层高 HBM 成为主流配置的边缘。
- 每个封装中增加更多 HBM 堆栈会带来更多带宽和容量
在英伟达的路线图中可以看到这一点。HBM 容量从 A100 的 80 GB HBM2E 激增到 Rubin Ultra 的 1024 GB HBM4E。每颗芯片的内存带宽也大幅提升。从 Ampere 到 Blackwell Ultra，物料清单中绝对值和相对值增长最大的一项来自额外的 HBM 内容——这对内存供应商（主要是 SK Hynix）最为有利。
这也与非内存 I/O 的需求有关。在单一内存一致性域内扩展更多 GPU 可以提供更高的总内存容量和带宽。这使得更大参数模型的推理扩展成为可能，并支持正在推崇的、更长上下文长度的推理模型和复杂工作负载。
正如帕金森定律所言，工作会膨胀以填满分配的时间，现代人工智能也遵循一种“内存‑帕金森”动态：神经网络架构会不遗余力地增长，以占满任何可用的 HBM。每一次 HBM 容量和吞吐量的世代跃升——无论是 H100 上的 80 GB、3 TB/s，还是 GB200 上的 192 GB、8 TB/s——都会迅速促使设计者增加参数数量、上下文长度和 KVCache 占用，从而抹消几个月前看似充足的余量。曾用于将模型压缩进紧张预算的技术（激活检查点、优化器卸载、权重量化）在出现新的 HBM 空间后便会被放松，直到再次触及内存墙，效率技巧必须重新被发现。实际上，更大更快的 HBM 的出现并不会带来持续的宽裕；相反，它重新设定了“合理”模型规模的基线，确保尽管硅片技术进步，容量和带宽仍然是限制因素。归根结底，随着 AI 芯片配备更多 HBM，开发者会立刻构建更大的模型去填满它，因此内存始终是下一个瓶颈。下面我们来梳理 HBM 的用途以及面临的压力所在。
推理中的 HBM 使用情况
在 LLM 推理中，所有模型权重永久驻留在封装上的 HBM 内存中，GPU 可以无延迟地读取它们。除了权重之外，HBM 还存放着 KV 缓存。每次模型被要求生成下一个 token 时，GPU 首先从 HBM 读取权重，并同时检索整个 KV 缓存，以便在自注意力阶段将新 token 与对话历史进行比较。计算完成后，GPU 会将为新生成 token 产生的新 key 和 value 追加回 HBM，扩大缓存。这对带宽要求极高，因为每个 token 解码步骤都会反复读取静态权重和不断增长的 KV 缓存。如果内存带宽无法以数百 GB/s 的速率传输这些数据，GPU 就会花更多时间等待内存而不是进行计算。现实中正是如此，带宽远远超过了 token 解码的计算强度，使得大多数 LLM 推理工作负载成为内存带宽受限而非计算受限。
随着模型改进，它们的“视野时长”不断增长。也就是说，模型能够在更长的时间内进行思考、规划和行动。这种增长速率呈指数级，并已在更优的产品中显现出来。例如，OpenAI 的 Deep Research 能够连续思考数十分钟，而 GPT-4 只能做到短短数十秒。
随着模型现在能够在较长时间内进行思考和推理，对内存容量的需求剧增，因为上下文长度常常超过数十万令牌。尽管最近的进展减少了每个令牌产生的 KVCache 数量，内存限制仍然迅速增长。应对这一问题的一种方法是以更低的批量大小来服务推理模型，但这对经济性有害。
推动人工智能进步的主要动力是强化学习（Reinforcement Learning，RL），而 RL 范式中很大一部分工作是推理（inference）。举例来说，RL 经常需要满足严格要求的合成数据，这就意味着要进行大量 GPU 小时级别的推理来生成随后由另一个模型筛选的数据。另一个推理负载很重的例子是针对难以验证的任务进行的 RL，比如创意写作。与可以轻易检查和验证的代码不同，创意写作、法律工作和教学等内容不能被简单地验证。解决这一问题、从而获得用于强化和改进模型的信号的方法，是让另一个模型来“评判”答案。这个作为裁判的 LLM 会被赋予一套评分标准，目前是人工编写，但很快也会由 LLMs 自动化生成，它将根据该评分标准对答案进行评分。
KVCache 卸载
有多种算法或配置改进旨在减少对稀缺 HBM 的压力。一种技术是将 KVCache 卸载到更便宜且更易获得的内存层级，例如传统 DDR 或甚至存储设备。
如今，KVCache 卸载已经被广泛使用。Nvidia 有一个名为 Dynamo Distributed KVCache Manager 的框架。概念上这与通用 CPU 中可用的多级内存并无二致：极快但密度低的 L1/2/3 缓存和较慢但密度高的 DRAM。在 AI 系统中，KV 的存放和管理基于使用频率。经过良好优化的系统会将当前使用的 KV 保留在 HBM 中，将不常使用的 KV 放在 DDR，将极少使用的 KV 存放在 NVMe 中。
就像 DRAM 不会与 CPU 的 L1/L2/L3 缓存需求发生相互掠夺一样，HBM 与 DDR/NVMe SSD 的卸载并不直接相互竞争。事实上，对于大多数现代 LLM 工作负载而言，预填充速度（即生成 KVCache 的速率）通常比传输到 DDR 或 NVMe SSD 的速率要慢，这意味着 KV 很少会完整“常驻 HBM”。它们被生成后会被驱逐或发送到解码节点以用于生成下一个 token。通常只有对每个用户都要使用的系统提示会保留在 HBM 中，此外还有一些热 KV，例如活动序列窗口和一些预取缓冲区。
至于使用 DDR 还是 NVMe，这取决于工作负载的需求和规模，也取决于工作负载的循环频率——频繁循环的 KV 并不适合 NAND 有限的写/重写耐受性。今天那些通过工具调用以极低延迟和高循环率拉取文档和数据的 Agentic 用例，进一步推动了缓存从 NVMe 向 DDR 的迁移。这些是需要考虑的架构和用户体验权衡，而不是彼此之间的直接替代关系。
随着用例的发展，可能会针对不同的推理需求采用不同的硬件配置。例如，查询固定代码库或文档时，每个用户每块 GPU 访问更大容量的 KVCache 会更有利，因为与普通聊天相比，这类用户行为对内存的需求极高。
用于预训练的 HBM
对于传统的预训练，GPU 在一次前向和后向计算中所需的一切都要经过 HBM。首先，模型的权重存储在 HBM 中，每一层在对一个数据批次进行前向计算时可以快速读取这些权重。随着每一层处理该批次，它会将中间激活写入 HBM，以便后续使用。一旦前向传递完成并计算出损失，后向传递就开始了：GPU 会重新读取那些存储的激活和权重，从 HBM 中读取它们以计算梯度。由此产生的权重梯度，以及任何辅助的优化器统计量（例如 Adam 中的动量或方差项），也会被写入 HBM。最后，优化器从 HBM 读取这些梯度和统计量，在原地更新权重，为下一次迭代做好准备。然而，训练操作相对于数据传输需要更多计算，这意味着训练更常受计算资源限制。但如上所述，RL 现在是提高模型能力的关键——因此传统上通过预训练实现的许多目标，正变得更像以强化学习形式的推理。
下文将讨论 OpenAI 的 ASIC 项目、近岸地区挑战、通过为 HBM 定制基底芯片带来的 HBM4 革命性变化、PHY 的优势、内存控制器卸载、中继 PHY、LPDDR 与 HBM 的组合以及各种海滨扩展技术。文中还将讨论 SRAM、内存下计算、供应链影响以及三星的困境。
