在之前的两篇文章中，我们分析了 AI 智能体的架构，以及它在决定采取行动时会使用的工具。这两篇文章都基于一个我们从未深入探讨过的假设：即模型会一直处于待命状态，一旦被调用就能立即开始思考。这一假设本身其实就构成了一种商业模式，因此在继续深入讨论之前，有必要先明确几个相关术语的含义。
词典
在这一行业中，人们往往习惯将相关术语混为一谈，因此在我们开始介绍具体内容之前，先明确我们对这些术语的定义。
-
首页
计算领域：
支撑人工智能运行的硬件基础设施（如芯片、内存、网络等）。
-
首页
模型：
经过训练、具备推理能力的人工智能层。
-
首页
推理：
将 LLM 应用于执行任务与逻辑推理之中。
-
首页
内存：
在人工智能系统运行期间，用于存储模型权重、输入数据及处理数据的高速存储设备。
无论最终产品需要多大的处理规模，AI 推理都会持续进行。Gartner 预计，到 2026 年，AI 优化型云基础设施支出中将有 55%用于推理功能，而到 2029 这一比例还将超过 65%。随着 AI 应用逐步投入实际应用，推理已成为最主要的 AI 计算任务，同时也是推动整个生态系统创造价值的重要因素。 1
本文将探讨该市场的未来发展趋势：推理技术需要服务的多模型、日益开放的环境，致力于降低成本的硬件竞争，视频生成与视频理解之间的分化，以及将决策功能从集中式数据中心转移到边缘设备的趋势。
单一模型策略的终结
在过去的四年里，人工智能领域最核心的问题一直是哪家实验室能赢得模型竞赛。实际上这个问题的答案已经揭晓：Anthropic 与 OpenAI 处于行业前沿，据称两者都在为可能价值数千亿美元的 IPO 做准备。不过，这个问题的答案其实并没有人们预想的那么重要，因为几乎没有人真正只使用某一种模型来运行系统。
实际上，如今已几乎没有企业会只依赖单一模型。大多数企业都会同时在生产环境中使用多个模型，而且这个数量还会随时间不断增加而非减少。在推理、编码、延迟以及多模态处理等方面，任何时刻往往都有不同的最佳模型，因此试图用一个模型解决所有问题，就意味着要在其他三四个方面做出妥协才能在某一方面取得优势。现在，各团队都是根据具体任务来选择合适的模型，而要确保多个模型能在生产环境中稳定运行，进而管理这种复杂的局面，已成为当前基础设施领域最棘手的难题之一。
成本与数据主权正在进一步推动这一转变。
成本正在加速这一趋势。代币的支出已变成财务团队希望积极管控的独立项目，而非埋藏在工程预算中的沉没成本。如今，以 DeepSeek、Qwen 和 Kimi 等中国实验室为主导的开源模型在推理流量中占据了相当大的比例，而这些模型的存在本身就为前沿实验室在提供类似性能的服务时设定了价格上限。
数据主权问题也为工作负载的分布式处理增添了新的理由。2026 年 6 月，由于出口管制方面的考量，美国政府暂时限制了外国用户使用 Anthropic 的 Fable 5 和 Mythos 模型，那些基于这些模型构建了工作流程的盟国政府及受监管企业立刻就失去了访问权限，尽管该限制在几周后就被解除了。这一事件进一步强化了已然存在的趋势：企业和政府越来越将掌控模型的运行地点、数据传输路径以及其所依赖的基础设施视为一项必要的运营要求，而非可有可无的选择。
开放权重与开源
这里也需要明确“开放”究竟意味着什么。在社交媒体上被标榜为开源的模型，实际上几乎都属于仅开放权重类型。所谓开放权重，只是提供已经训练完成的模型（即权重文件），任何人都可以下载并在自己的基础设施上运行它。而真正的开源版本则更为全面，会同时提供训练代码以及训练数据的说明——也就是一个专业团队从零开始重建同类模型所需的一切资料。按照这个标准，Llama、DeepSeek、Qwen、Kimi 和 Mistral 这类模型都属于开放权重，而非真正意义上的开源。像 OLMo、EleutherAI 和 BLOOM 这类真正开源的项目，往往出自研究机构而非商业实验室，因为公开完整的训练方案成本高昂，而且还会暴露那些最难复现的环节。
从商业角度而言，这种差异具有重要意义，因为即便不采取完全开源的做法，企业也有诸多动力去发布开放权重模型。有些实验室这么做是为了在价格上击败那些无法超越的领先者；像 Meta 这样的企业则将其作为核心业务之外的补充产品，从而不必受制于前沿研究机构的定价策略；还有些企业将小规模的开放发布视为通往其最强大模型付费 API 的途径。无论动机如何，其对推理层的影响都是一样的：即有越来越多功能完备且可免费下载的模型出现，任何人都可以部署这些模型。Together AI、Fireworks 和 Baseten 等推理服务公司正是依托这一变化发展起了自己的业务，他们通过提供高效的多租户基础设施，让企业能够在无需自行拥有任何 GPU 的情况下，享受到开放模型的成本优势与管控便利。
目前，相关领域的政策争论也仍在持续。2026 年 7 月 24 日，NVIDIA 首席执行官黄仁勋在 X 平台上发表了他的首篇帖文，分享了由多家企业联合撰写的《开放权重与美国人工智能的领先地位》这份公开信，呼吁华盛顿避免过早限制可下载模型的使用，并强调多元、开放的生态系统是该国保持竞争优势的关键。在此之前不久，Moonshot AI 刚刚发布了一个拥有 2.8 万亿参数的开放权重模型，其性能已接近行业最前沿水平，这一进展再次引发了关于限制获取中国模型以及用于训练竞争型模型的提取技术的政策讨论。无论人们如何看待这些政治因素，这都是一个重要的信号：如今，众多现有的基础设施提供商（如 Baseten、Fireworks、Modal、Mistral、Nebius、Cohere、Microsoft、Meta、OpenAI、Google）都看到了开放生态系统所带来的商业机遇，因此他们愿意公开游说以维持这种现状。
这对推理层而言意味着：它必须在不断下降的成本压力下，为不同监管环境与地域中的多种、不断变化的模型提供服务。这便是推理领域需求方面的情况。本文的其余部分则将探讨供应方面的问题——即从硬件、网络和地域层面来看，要满足这些需求需要做些什么。
#1：计算与芯片
弥合物理层面的差距
在面临软件层面的问题之前，AI 推理首先存在硬件方面的难题。目前，全球仅有极少数人能够使用最先进的模型，而背后的瓶颈在于硬件：电力供应、先进的芯片制造能力以及内存资源都十分有限，与此同时需求却高出数个数量级。
目前，大多数推理任务仍依赖通用 GPU 来完成，这类芯片的设计初衷是为了在各种 AI 任务中具备灵活性，而非用于处理大规模推理任务。而新一代专为 AI 设计的芯片——包括我们投资的公司 Groq 所推出的产品——则专门针对模型推理进行了优化，更注重吞吐量、延迟和效率，而非训练性能。例如，Etched 采用了低电压芯片设计以及统一内存架构，使得处理器能够从共享内存池中获取数据，从而提升资源利用率和带宽表现。下一代产品 MatX 和 Fractile 则仍处于市场推广的早期阶段。这些公司共同致力于解决“内存墙”问题，即数据在内存与处理器之间的传输速度逐渐慢于计算速度本身。随着语言模型逐个生成文本单元来产生响应，以及智能体需要执行越来越复杂的推理过程，内存带宽已取代单纯的计算能力，成为最主要的限制因素。
相关成本结构的变化速度极快，正在重塑这一领域的市场格局。有研究显示，即便人工智能的普及程度和 Token 使用量持续快速上升，LLM 推理成本仍可能在两年内下降约 100 倍。随着人工智能应用的不断扩展，计算需求正从模型训练转向大规模运行模型。这一趋势催生出了新一代的无服务器推理云服务及 GPU 供应商。Together AI、Lambda Labs、Modal 以及 Fal 等公司——其中几家已纳入我们的投资组合——正是基于这样一种理念而成立的：客户希望在不同地区以不同价格获取不同的模型，而且这些公司在过去一年中已有不少实现了融资，其估值也高达数十亿美元。 2
我们的假设：
芯片层面的硬件差异确实存在且持久，但它将越来越多地体现为通过推理云传递给用户的成本与延迟优势，而非企业直接购买的产品形式。更值得关注的是更高层面的竞争：无论某天底层使用的是何种芯片，谁能掌控服务与路由层面，谁就能赢得与客户的关系。
#2：视频推理
生成能力与理解能力出现分化
文本是最早拥有完整推理生态系统的模态，视频紧随其后，且正分化为两个容易被混为一谈的业务领域，不过它们如今正在为不同的预算资源展开竞争。
- 在视频生成与模型理解这两大技术方向中，前者更为引人注目，它吸引了最多的媒体报道与巨额投资。秀场、Kling、Veo 以及 Sora 等模型都能将文本或图像转化为新的视频内容。不过，更具长期发展潜力的或许是在其底层支撑视频和图像模型运行的基础设施领域——这类基础设施旨在实现快速且低成本的模型运行。Fal.ai 为诸多相关应用提供了无服务器架构支持，让用户能够通过 API 调用 600 多种生成式媒体模型。而 MachGen 则专注于更具体的场景，它专门针对开放扩散模型以及 Wan、LTX、HiDream 等图像和视频生成工具进行优化，在保持相同模型权重和输出质量的前提下，可将推理延迟降低约 6 倍。这样的性能提升足以让 MachGen 所服务的应用场景（如实时虚拟形象生成、游戏内内容创作以及个性化广告素材制作）从批量处理任务转变为实时的产品功能。
- 视频理解则是发展较为缓慢、资金投入也较少的领域，它解决的是相反的问题——即让现有的视频资料能够被检索并加以利用。虽然视频已经占据了全球互联网流量的绝大部分，但在监控录像、体育赛事片段以及企业媒体库中，仍有大量视频未被建立索引。目前这一领域正在不断出现创新成果：Twelve Labs 正在研发能够同时解析动作、语音、音频以及空间环境的多模态模型；General Intuition 则在开发能够理解事件随时间发展变化规律的时空模型；而 Vamana 则通过压缩、整理并处理海量未标记数据集，让原始视频能够被人工智能所处理。随着企业纷纷希望挖掘现有视频档案的价值，视频理解正逐渐成为下一代人工智能应用的基础性基础设施。
我们的假设：
即便两者之间的界限正在逐渐模糊，视频生成与理解仍将是结构上截然不同的业务领域。视频生成领域的竞争焦点在于真实度、可控性以及每秒处理成本，因此那些同时拥有模型和推理框架的公司更具优势；而理解领域的竞争则体现在感知层之上推理能力的稳定性，包括能够在多次查询中持续保留并累积信息的机制，这种优势更难被复制，也更适合与大型云服务提供商建立长期合作关系。Twelve Labs 最近的融资就体现了这一趋势：该公司选择 AWS 作为首选云服务提供商，进一步深化了多年来的合作关系，以便为 Trainium 优化视频推理功能，并首先在 AWS 上推出新模型。这已超越了单纯租赁 GPU 算力的范畴，大型云服务提供商还会根据企业的推理需求定制专用芯片。在模型和基础设施层面都支持多种技术路径的资本投入，更加坚定了我们的信念——视频理解技术足够成熟，足以支撑多家企业成为赢家。
#3 边缘端推理
从内容送货到决策支持
所谓“边缘”，即位于用户和设备更近处的计算基础设施，而非集中式数据中心，其最初的目的是加快内容传输速度：1999 年时，Akamai 提出的方案就是在各区域缓存热门网页，从而让这些网页更快加载。而人工智能推理则将这一物理层（如区域数据中心、电信网络、本地服务器）转变为完全不同的存在。如今，边缘基础设施不再只是将内容存储在更靠近用户的地点，它还能在生成数据的设备附近运行人工智能模型，从而使这些设备无需将所有数据发送到远端数据中心即可实现实时响应。
据麦肯锡预测，到 2030 年，推理任务在人工智能计算总量中的占比将超过一半，与此同时，用于在更靠近用户和设备的地点运行这些任务的基础设施需求也会随之上升。IDC 预计，2025 年至 2028 年间全球边缘计算领域的支出将以每年近 14%的速度增长，而边缘人工智能正是推动这一投资增长最快的应用领域之一。 3
原因在于延迟问题。语音助手、编程辅助工具、欺诈检测系统、机器人技术以及工厂自动化系统都需要极低的响应时间，并且要求响应速度保持稳定，而远处的集中式数据中心无法可靠地满足这些需求。虽然模型训练正在向电力成本最低的千兆瓦级设施集中，但模型推理却朝着相反的方向发展——它被部署到工厂、车辆、医院以及各类设备中，这些设备分布在众多规模较小的站点上，其设计重点在于确保服务的连续性及应对低延迟的要求，而非单纯的吞吐量。
我们的假设：
边缘推理不会取代集中式推理，而是会与后者共同发展。那些能够将工作负载部署视为一项重要的设计决策，并充分考虑延迟、数据敏感性、电力供应、运营成本以及系统弹性等因素的基础设施供应商，才能在竞争中胜出。
展望未来
模型质量正逐渐向多元、多供应商共存的格局发展，而非由单一胜出者主导。从现在起，区分胜负的关键几乎完全在于推理能力：谁能够以低成本、高可靠性的方式，在合适的硬件上、在恰当的地点提供合适的模型，从而实现大规模商业应用。那些将推理能力视为模型质量次要因素的公司，终将输给那些将其视为核心产品的企业。
我们认为，那些最难被复制、且与关键生产任务最为相关的环节将会持续具备价值——比如专为特定需求设计的芯片、具备最高安全等级的服务平台，以及专为视频处理和边缘计算打造的基础设施；而当前这一批前沿实验室在结构上缺乏自行构建这些设施的动力。
市场格局图
米拉·奥克
合作伙伴
在加入 Alumni Ventures 之前，米拉曾在耶鲁大学负责财务与产品相关的工作。她管理着价值 10 亿美元的营收业务，主导过多项并购交易，并建立了与企业合作伙伴的业务发展关系。之后，她又负责基于云端的 ERP 系统的产品开发工作，这使她能够很好地与那些正在应对当前平台变革的开发者们进行沟通。最近，她与 Create Venture Studio 以及 Polymath Capital Partners 等早期风险投资机构和孵化器合作，致力于推动企业级 SaaS 及基础设施领域的初创企业发展。米拉拥有斯沃斯莫尔大学的经济学学士学位，以及达特茅斯大学塔克商学院的 MBA 学位。
露西·弗里德曼
Principal
在加入 Alumni Ventures 之前，露西的职业生涯始于在 Amazon 推出新产品，先后负责 AWS 业务以及 Amazon Devices 业务。她于 2019 年以优异成绩从耶鲁大学毕业，并在 2025 年同时获得了宾夕法尼亚大学沃顿商学院与劳德研究所颁发的 MBA/MA 双学位，研究方向为金融领域及欧洲风险投资行业。作为一名终其一生都从事击剑运动的选手，她曾连续四年代表耶鲁大学校队参赛。如今她已愉快地退出了这项运动，闲暇时便与朋友们一起打网球，同时支持各类艺术事业，包括为美国芭蕾舞剧院的大三学生委员会做志愿者工作。