Pathway 在 5 亿美元的估值基础上筹集了新资金，用于发展基于 Transformer 架构之后的 AI 技术

AI 研究公司 Pathway 在 5 亿美元的估值基础上又获得了新一轮融资，其累计种子轮融资金额已达 3000 万美元，目前正准备推广基于其后 Transformer 架构打造的新一代模型。

此次融资的参与方包括 Id4 Ventures、TQ Ventures、Red Bridge Ventures、Kadmos Capital 以及 Wilson Sonsini 旗下的投资机构 WS Investment Co.，此外还有 Databricks 的首席 AI 科学家乔纳森·弗兰克尔。Pathway 表示，这些新获得的资金将主要用于提升计算能力，其中包括采购 NVIDIA GB300 系列系统。

在这笔投资到账的同时，Pathway 的 BDH-CQ 推理模型也公布了新的测试结果，这为此次投资提供了更为扎实的技术依据，而此前人们往往只是承诺要打造规模更大的基础模型。Pathway 表示，其拥有 1.5 亿参数的该模型在公开的 ARC-AGI-1 评估集上的得分达到了 29.5%，且每项任务的推理成本仅为 0.0007 美元。

在投入资金的同时，Pathway 选择摒弃单纯依靠规模扩张的发展策略

目前，大多数前沿模型的竞争都集中在规模上：更大的计算集群、更多的训练数据、更多的参数，以及更高的测试时计算资源消耗。Pathway 则采取了不同的方法，它认为行业面临的成本与内存限制其实源于架构问题，而非仅仅通过增加计算资源就能无限解决的难题。

这一理念正是其 BDH，也就是“龙雏”架构的核心所在。Pathway 将 BDH 描述为一种后 Transformer 架构，旨在在模型内部整合推理、记忆与自适应能力，而非主要依赖不断扩大的上下文窗口或外部记忆系统。

该架构借鉴了持久状态、稀疏激活、局部交互以及持续调整等理念。Pathway 称其设计灵感源自生物学，而非试图直接复制大脑的工作方式。

这笔新融资为该公司提供了更多资源，用以验证当 BDH 模型的规模进一步扩大时，这些特性是否依然能够保持。

Pathway 还任命了 Adam Kurzrok 担任首席产品官。Kurzrok 此前曾在 Google DeepMind 担任 Gemini 的团队产品经理，他将负责规划基于 BDH 架构的模型的封装、评估与部署相关工作。

该公司还在组建一个顾问团队，成员包括 Transformer 架构的联合发明人Łukasz Kaiser、Frankle 公司的高管、纽约大学教授 Martín Farach-Colton 以及经济学家 Jacques Attali。

BDH-CQ 有何不同之处

BDH-CQ 是更广泛的 BDH 架构的延伸版本，该架构专为上下文学习与循环隐式推理而设计。

BDH-CQ 并非要求模型将大部分中间推理过程以生成文本的形式表达出来，而是在一个连续的潜在工作空间内进行迭代计算。推理过程中提供的示例会更新循环记忆状态，随后系统在内部处理新问题，最后才解码出答案。在此过程中，模型的参数保持固定不变。

这一点之所以重要，是因为随着推理轨迹的延长，基于令牌的推理成本会变得高昂。在传统的思维链方法中，中间步骤按顺序生成，然后再反馈到推理过程的后续阶段。

BDH-CQ 的设计旨在将更多计算保留在其内部状态中，而不是持续将中间推理过程转化为语言。

这一区别并不意味着基于语言的推理本质上已经过时。相反，Pathway 正在测试某些推理工作负载是否可以在无需将每个中间计算步骤序列化为文本的情况下更高效地处理。

ARC-AGI 结果将成本效率置于中心位置

与此次融资一同公布的最引人注目的成果来自 ARC-AGI-1 基准测试，该基准旨在检验 AI 系统能否从少量示例中推断变换规则，并将这些规则应用于未见过的输入。

Pathway 的 1.5 亿参数 BDH-CQ 模型在包含 400 个任务的公开 ARC-AGI-1 评估集中，实现了 29.5%的 pass@2 成绩。

技术评估估计，每项任务大约需要 0.85 秒的 NVIDIA H200 GPU 时间，按 H200 每小时 3 美元的成本计算，每项任务的成本约为 0.00070 美元。

Pathway 认为，这一表现使得 BDH-CQ 超越了此前针对 ARC-AGI-1 所报道的成本与精度之间的帕累托边界。

其重要性并不在于这个拥有 1.5 亿参数的系统目前拥有最高的 ARC 分数——有些规模更大的推理系统得分更高。Pathway 关注的是，在每投入一美元用于推理计算时，该模型能够展现出多高的推理性能。

随着企业将人工智能应用从偶尔的聊天机器人交互转向能够持续执行大量推理任务的智能体及其他系统，这一点将会变得越来越重要。

技术测试结果也显示了 BDH-CQ 的薄弱环节所在。

更全面的评估结果所呈现的图景，比那些核心基准测试的结果更为复杂细致。

在将推理问题划分为不同概念类别的 ConceptARC 测试中，BDH-CQ 的表现差异较大。它在涉及边界扩展以及区分填充区域与未填充区域的若干任务上表现尤为出色，而涉及复制和排序的任务则更为困难。

控制实验也得出了相似的结果。

在测试范围内进行这些操作时，边界传播与复制功能依然保持准确。但随着序列长度的增加，性能下降得更为明显。此外，当嵌套深度提升后，嵌套关系问题也会变得更为棘手。

研究人员还发现，在某些情况下，提供与目标问题复杂度更接近的示例能够显著提升模型性能，这表明其性能受限的部分原因在于系统能够从所接收的示例中推断出多远的范围。

这些缺陷很重要，因为 ARC-AGI 仍然只是一个针对视觉推理的专用评估基准。在 ARC 上的高成本效率并不能说明同样的架构就能在各种实际应用场景中超越通用语言模型。

相反，这些结果为一个更为狭隘但可能影响深远的观点提供了证据：复杂的推理能力并不总是需要庞大的参数量或冗长的推理序列。

Pathway 也在构建用于实时 AI 的基础设施。

在着手研发后 Transformer 架构模型之前，Pathway 就已经开始了相关研究。除了 BDH 之外，该公司还开发了一套数据处理框架，用于实现数据流处理、实时分析、大型语言模型应用以及检索增强生成功能。

该平台旨在帮助人工智能系统处理不断变化的信息，而非完全依赖静态数据集或定期重建的索引。

这样的基础设施背景与 Pathway 的整体研究方向高度契合。该公司现有的技术致力于让人工智能应用能够与不断变化的外部数据保持同步，而 BDH 则致力于探索是否能够让持久内存与自适应能力逐渐成为模型架构本身的固有特性。

对于那些需要在长时间内持续处理新信息的同时保留状态的人工智能代理及其他长运行系统而言，这一点具有重要意义。

Pathway 的未来发展前景如何

Pathway 计划利用这笔新资金提升模型容量，并训练功能更强大的基于 BDH 的系统。

其发展路线图包括数学推理能力、ARC-AGI-2 与 ARC-AGI-3 项目，以及开发具备潜在推理功能的大型语言模型。

该公司表示，在参数量从 10 亿到 6000 亿不等的范围内进行的初步预训练实验显示，该模型具有类似 Transformer 的扩展性，同时仍保留着与 BDH 潜在推理方法相关的特性。

这仍只是初步迹象，而非该架构的优势能在大型通用模型中持续存在的证明。

Pathway 的最终目标在于金融服务、医疗保健以及科技领域——随着人工智能系统逐渐用于更长时间运行的工作流程，持久内存、动态变化的信息以及推理成本在这些领域将变得尤为重要。

目前，5 亿美元的估值实际上是对一种能够替代行业主流扩展策略的方案的巨大投资。更为重要的考验将在 Pathway 将 BDH 模型应用于那些要求更高的推理基准测试时出现，届时需要验证其架构优势是否能在语言、数学、智能体以及现实世界应用场景中依然保持不变。