固态硬盘/内存清算

SSD / 内存的清算

内存类股票最近占据了主导地位。如果早期的 AI“交易”是算力,那么现在的交易就是内存!在过去一年里:

  • SK Hynix 股价上涨超过 300%

  • 三星上涨超过200%

  • Kioxia 上涨约 1,000%

  • SanDisk 上涨超过 1,200%

  • 美光上涨超过300%

  • Western Digital 股价上涨逾 400%

这绝非内存相关股票的详尽清单,但应该能让你感受一下内存相关公司在股市上的动态。那么发生了什么?为什么内存股会迎来一波行情?我请教了 David FlynnHammerspace 的创始人兼首席执行官,分享他的观点。以下文章由我与 David 共同撰写。David 是连续创业者、长期从事存储/内存架构的专家,曾创立 Fusion-io,该公司将闪存引入服务器关键路径,帮助改变了行业的性能策略(后来被 SanDisk 收购)。他还参与发明了 NVMe 的架构前身,因此他对于内存股为何暴涨的看法,基于他亲手打造使这一时代成为可能的系统的第一手经验;随着 AI 的发展,内存带宽、延迟和供应正成为扩展计算的瓶颈,这一观点愈发重要。

让我们深入探讨!

在过去两年里,关于人工智能基础设施的大部分讨论都集中在 GPU 上。这是可以理解的;计算力是推动 AI 创新的明显驱动力,并且在极短时间内对全球经济产生了深远影响。与两年前相比,GPU 供给已开始恢复正常(但仍然相当紧张!),然而一个新的制约因素浮现出来——本应预见到且可能更持久的制约:由于全球 NAND 闪存供应短缺引发的内存与存储问题。在许多方面,内存与固态存储现在的状况就像两年前的 GPU 一样。

从计算受限到数据受限

内存和存储市场最近迅速爆发,但这是为什么?早期的人工智能训练以“重计算”为主。这意味着什么?你加载数据集,反复遍历并优化权重。那时受制于计算资源,AI 创新者竞相尽快部署更多 GPU。一旦数据就位,GPU 承担了大部分工作(你不断用数据轰击这些 GPU……)。当然,随着训练规模变大,我们也不断向训练中加入更多数据。然而,推理则不同。它更具交互性、并发性和会话性。模型实时从大型多样的数据集中提取信息,这些数据往往存放在不同地点。这使得系统越来越受制于数据。要在每个数据产生和存储的地点都放置 GPU 并不现实,数据需要被“可识别并可移动”,以便在处理任务需要时与 GPU 同地。结果依赖的已不再是原始计算能力,而是数据能多快、多高效地传输到模型(无论数据存放于何处)。手动的数据识别、准备和管理太慢且繁琐。 而传统存储系统在这类工作负载下效率低下(并依赖对内存和固态硬盘(SSD)进行过度配置)。最佳的 AI 架构要求所有数据都能以高性能传输,以更快地为 GPU 提供推理所需的数据。

但还有另一个催化因素:AI 现在生成的数据比它消耗的还多。 推理持续产生新的产物——合成训练数据、增强数据集、用于检索的嵌入和向量索引、用于评估与安全的日志/遥测,以及被存储、版本化并重复使用的智能体输出。即便底层“源”数据未发生变化,AI 管道也会创建多种派生表示(块、摘要、特征、索引),这些都必须存放在某处,并随着模型演进进行刷新。其结果是数据占用呈复合增长:更多的读取更多的写入、更多的元数据、更多的数据移动,以及更多需要高性能的容量。

现在再加入 KV 缓存 (存储在内存中)。每当模型处理一个提示时,它会保存中间的注意力状态,以便在生成下一个标记时无需重新计算之前的上下文。这对 AI 架构师意味着什么?提示更长?KV 缓存更大。并发用户更多?KV 缓存更大。上下文窗口更大?KV 缓存更大。运行时间更长的智能体和任务?KV 缓存更大。所有这些趋势都在推动 KV 缓存的极限(并创造对内存的巨大需求)。与固定不变的模型权重不同,这部分内存占用会随着使用动态扩展。内存需求显著上升!这些内存通常首先驻留在 GPU 内存中,然后随着系统扩展溢出到主机 DRAM 和快速存储。因此,推理不仅消耗计算资源,还会消耗整个层级的内存(从存储节点到控制节点,再到缓存层和 GPU 节点)。

AI 使用得越多,系统所需的内存就越多。

存储危机

对已存在数据使用量的增加,加上新生成和存储的数据量激增,已经导致全球 NAND 短缺。NAND 用于内存和用于高性能数据存储的 SSD。NAND 短缺并非典型的季度波动,而是在迅速成为更广泛内存危机的根本驱动因素。我们刚刚经历了一次大幅下滑,制造商大幅削减产量并重新回到极端的资本纪律,但随后人工智能需求以市场未预见的速度爆发。超大规模集群现在每年消耗数艾字节数据。如今签署的多年供货协议涵盖的产能要到 2027 年才会存在。这是结构性转变,而非价格周期。

对创新的“闪存税”

行业对 AI 规模化的默认反应是过度配置产能。过去当闪存供应充足且相对便宜时,效率低下是被容忍的。现在闪存供应短缺、价格飙升,低效率则将问题痛苦地放大。

闪存稀缺改变了整个基础设施栈的计算方式。AI 集群是紧密集成的系统,包含 GPU、存储、网络和电力,作为一个整体单元。当闪存价格飙升和/或分配变得不可预测时,每台已部署 GPU 的“全包”价格上升,迫使许多客户改变其部署策略,产生深远影响。

超大规模云服务商只会开出更大的一张支票,然后把成本转嫁给他们的租户。但对于试图构建下一代 AI 集群的企业来说,“闪存税”可能会毁掉整个项目。它迫使企业在客户实际能资助的范围以及实际能扩展的速度上做出更严格、更保守的决策。

“企业级”存储的问题

如今无法忽视的是,大多数“企业级”存储架构并非为人工智能而建。它们是为传统企业 IT 设计的——事务型应用、虚拟机群、个人目录、备份以及可预测的吞吐量——而不是为了以线速向 GPU 提供数据,同时支持高并发、低延迟和海量元数据活动……这些数据往往分布在不同的数据中心和云端。

在人工智能时代,传统存储架构面临两大主要挑战。这些挑战正在造成组织在寻求解决方案时对内存的极度需求:

首先,分层模型失效。 过去,存储大致被划分为三层:用于快速访问的性能层(闪存)、用于仍需保存的“冷”数据的容量层(硬盘)、以及归档层(通常为磁带)。在人工智能时代,数据中心越来越需要各层面的性能 ——因为 AI 流水线并不会把“热”与“冷”数据划分得很清晰,检索/推理工作流也经常会访问长尾数据集。可容量层和归档层无法提供 GPU 级别的性能,因为这些物理介质和架构并非为此而设计。我们看到的现象是什么?数据中心正向全闪存(或以闪存为主)转变,这推高了内存需求,因为闪存系统需要大量内存/元数据开销来提供性能并在大规模下管理庞大的命名空间。

第二,传统 NAS 的数据路径跳数太多——且复制次数过多。 传统 NAS 架构通常包含三类角色:存储节点、控制器(或管理节点)和服务器/客户端。每一方都有 CPU、内存、网卡,以及它们之间的交换机。如果追溯数据从物理驻留地(我们从 NVMe 开始)到 GPU 的路径,数据会被反复暂存、缓冲和复制:NVMe → CPU/内存 → 网卡(存储节点)→ 交换机 → 网卡 → CPU/内存 → 网卡(控制器)→ 交换机 → 网卡 → CPU/DRAM(客户端)→ GPU(见下图)。根据具体设计,这很容易达到 8–10 次复制/跳转。当性能需求较低时,这种“跳转税”尚可接受。在人工智能时代——尤其是在以延迟和并发为主的推理场景中——它成为了结构性瓶颈。常见的“解决办法”是通过在整个栈上增加更多内存用于缓存和缓冲,但这会推动更高的需求和成本。

固态硬盘/内存清算

传统的做法很简单: 过度扩容。 投入更多的 NVMe,制作更多副本,希望硬件能掩盖效率低下的问题。当闪存便宜且充足时,那些浪费不过是些噪音。但在资源受限的市场中,这种低效会成为一个巨大的、削弱性的责任(随着价格上涨也会带来巨额成本!)。

在人工智能环境中,数据重用不可预测、规模巨大且增长迅速,而且由于 GPU 服务器相较于数据具有更大的“引力”,所以对这些数据的编排需要具有透明性并具备全球级的规模。

GPU 利用率陷阱

对 GPU 的需求并未放缓,但它们并非孤立存在。一套包含 1000 块 GPU 的集群背后可能配备数百 PB 的 SSD 存储。如果这些 SSD 存储出现延迟,GPU 就会处于空闲状态。

SSD 危机并不会消除 GPU 的需求,但可能改变收入实现的时序、放慢激活周期,并在 AI 扩展曲线中引入摩擦。GPU 经济如今与 SSD 可用性相互依存。

为效率而解,而不仅仅是供应

全球 NAND 问题难以迅速解决,但我们可以停止对已有硅资源的浪费。在 Hammerspace,我们将此视为数据编排问题。Hammerspace 数据平台的一些优势:

  • 利用 GPU 服务器存储:GPU 服务器通常配备本地 NVMe。Hammerspace 使您能够将其作为具有企业级可靠性的战略性第 0 层共享存储使用。这使您能够利用已投入的资产,立即推进 AI 项目,并且由于数据正好位于计算所在处,您将获得最高水平的性能。在上方所示的“传统”图中,数据需经过 8–10 次跳转。而使用第 0 层(下方图示)仅需 1 次。

固态硬盘/内存清算
  • 考虑使用 HDD 存储: 并非所有数据都是“热数据”。将“冷”数据编排到大容量 HDD 系统中,可以将快速闪存留给真正需要它的工作。

  • 回收滞留容量: 大多数企业有拍字节级别的存储被锁在遗留孤岛中。我们将这些资产联邦为一个逻辑系统,让你无需再为 AI 购买新的 SSD 来创建又一个存储孤岛,而是继续使用现有资源。

  • 混合云: 公有云 既有 GPU 又有 SSD 存储的供给,我们提供一个单一的逻辑系统,支持许多客户已在使用的混合云方案。你可以同时在本地和云端利用 GPU,并在不复制数据的情况下无缝编排数据到 GPU 所在位置。

  • 智能分层: 我们实时且透明地在这些不同层级之间编排数据,利用策略消除对你业务运营的任何影响。

  • 全局去重: 你不应该为了在三个区域访问数据就把数据复制三份。我们的全局命名空间让你可以从任何地方访问同一份数据,瞬间减少闪存占用。

摘要

我们正进入一个阶段,AI 的成功不再仅仅取决于谁能拿到最大的 GPU 采购订单。它还将由那些无视物理限制、最智能地管理数据的人来决定。闪存并非无限,这一点已变得格外明显。是时候开始构建既反映这一现实又能在其限制下茁壮成长的架构了。

季度报告摘要

固态硬盘/内存清算

未来十二个月营收倍数排名前十的电动汽车公司

固态硬盘/内存清算

本周股价涨跌幅前十名

固态硬盘/内存清算

对倍数的更新

SaaS 企业通常以其收入的倍数来估值——在大多数情况下是对未来 12 个月预计收入的倍数。收入倍数是一种简化的估值框架。鉴于大多数软件公司不盈利,或未产生有意义的自由现金流,这是用来比较整个行业的唯一指标。即便贴现现金流(DCF)也充斥着长期假设。SaaS 的承诺是早期的增长会在成熟期带来利润。下文展示的倍数通过取企业价值(市值 + 债务 – 现金)/ 未来 12 个月收入来计算。

总体统计:

  • 总体中位数:3.2倍

  • 前五中位数:18.4倍

  • 10年期:4.1%

固态硬盘/内存清算
固态硬盘/内存清算

按增长分组。下面的分组中,我将高增长定义为未来十二个月预计增长率>22%,中等增长为15%–22%,低增长为<15%。我不得不调整“高增长”的分界。如果22%看起来有些武断,那确实是……我只是选择了一个大约有10家公司落入高增长组的分界,以便样本量更具统计意义。

  • 高增长中位数:10.7倍

  • 中等增长中位数:7.0倍

  • 低增长中位数:2.7倍

固态硬盘/内存清算
固态硬盘/内存清算

企业价值 / 未来十二个月营收 / 未来十二个月增长

下图显示了企业价值与未来十二个月营收倍数除以对未来十二个月的共识增长预期。所以一家以20倍未来十二个月营收交易且预计增长100%的公司,其比值为0.2倍。该图的目的是展示每只股票相对于其增长预期而言是相对便宜还是昂贵。

固态硬盘/内存清算
固态硬盘/内存清算

企业价值倍数 / 未来12个月自由现金流

折线图显示自由现金流倍数位于>0倍且<100倍公司的中位数。我创建此子集是为了展示自由现金流作为估值指标仍有意义的公司。

固态硬盘/内存清算

未来12个月自由现金流为负的公司未列入图表

固态硬盘/内存清算

企业价值倍数 / 未来12个月收入倍数 与 未来12个月收入增长的散点图

增长与估值倍数的相关性有多大?

固态硬盘/内存清算

运营指标

  • 下一个十二个月中位增长率:12%

  • 过去十二个月中位增长率:13%

  • 中位毛利率:76%

  • 中位营业利润率(1%)

  • 中位自由现金流利润率:19%

  • 中位净留存率:108%

  • 中位客户获取成本回收期:36个月

  • 中位销售与营销占营收比例:37%

  • 中位研发占营收比例:23%

  • 中位管理与行政占营收比例:15%

组合输出

“40规则”显示收入增长 + 自由现金流率(包括过去十二个月和未来十二个月的增长与利润率)。自由现金流的计算为经营活动产生的现金流减去资本支出

GM 调整后回收期计算公式为:(上季度销售与市场费用)/(本季度净新增年经常性收入 × 毛利率)× 12。该指标表示 SaaS 企业以毛利润为基础,收回完全承担的客户获取成本需要多少个月。大多数上市公司不披露净新增年经常性收入,因此我采用了一个推断的年经常性收入指标(季度订阅收入 × 4)。净新增年经常性收入即本季度年化经常性收入减去上一季度年化经常性收入。未披露订阅收入的公司在分析中被排除,并标注为 NA。

固态硬盘/内存清算
固态硬盘/内存清算

本文使用的资料来源包括 Bloomberg、Pitchbook 和公司文件

本通讯中所呈现的信息为作者观点,不必然代表任何其他个人或实体的立场,包括 Altimeter Capital Management, LP(“Altimeter”)。所提供信息被认为来自可靠来源,但对任何不准确之处不承担责任。本资料仅供参考,不应视为投资建议。过往表现并不能保证未来表现。Altimeter 是在美国证券交易委员会注册的投资顾问。注册并不意味着具备特定的技能或培训水平。Altimeter 及其客户在公开证券中进行交易,并已对本文所提及的公司进行并/或可能进行投资或与之相关的投资决策。本文所表达的观点为作者个人观点,非 Altimeter 或其客户的观点,Altimeter 及其客户保留做出与本文观点相一致和/或不一致的投资决策或参与交易活动的权利。

本文及所述信息仅供参考。 文中观点仅代表作者本人,不构成出售要约、购买建议或购买要约的招揽,亦不构成对任何投资产品或服务的推荐。尽管文中某些信息来自被认为可靠的来源,作者及其任何雇主或其关联方并未对该等信息进行独立核实,其准确性和完整性无法保证。因此,对于该等信息的公允性、准确性、及时性或完整性不作任何明示或暗示的陈述或保证,也不应依赖该等信息。作者及其所有雇主和关联人员对该等信息不承担任何责任,亦无义务在未来更新所含信息或分析。

了解 RecodeX 的更多信息

立即订阅以继续阅读并访问完整档案。

继续阅读