引领未来之路 模型路由技术将决定 AI 基础设施领域的赢家
本文信息来源：felicis
人们喜欢将人工智能时代与云计算时代相提并论。
这种类比有其道理，核心在于两者都呈现出价值主要聚集在技术栈的两端： 基础设施层和应用层。
云计算时代的基础设施层主要由几大公有云厂商主导：AWS、Azure 和 GCP，这些企业年营收合计正朝着 2500 亿美元迈进，意味着整体估值达到 2.5 万亿美元。而在应用层则呈现爆发式增长，催生了超过 100 家估值 10 亿美元的公司，更有许多企业突破千亿美元估值。
不难预见人工智能时代可能复刻这一模式：少数基础模型公司（如 OpenAI、Anthropic）将获取超额价值，同时涌现大量突破性应用领导者（如 Sierra、Cursor、Abridge、Runway）。这种逻辑看似合理，估值趋势也印证了这一点。但这也导致许多人忽视了中间层蕴藏的巨大价值。
中间层为何重要？
人工智能的中间层由四个核心领域构成，位于底层基础设施与应用层之间：
- 推理环节： 模型（或多个模型）在此生成输出结果
- 可观测性： 用于理解 AI 模型的行为特征
- 测试与评估： 衡量 AI 模型的质量。
- 编排与部署： 协调并将 AI 模型、智能体或其他智能系统投入生产环境。
在云计算时代，中间层曾极具价值。诸如可观测性（Datadog 400 亿美元市值）、安全（Wiz 32 亿美元被收购）、中间件（Mulesoft 70 亿美元被收购）和多云基础设施（Hashicorp 130 亿美元 IPO）等领域都孕育了巨头企业——这里仅列举几例。延续从云到 AI 时代的类比，我们预计这些 AI 细分领域将再次诞生领军者。 但这一次， 由于几个关键差异，”中间层”蕴含着更大的潜力：
- 开源生态 ——开源对 AI 的影响截然不同。云计算时代没有任何开源方案能以极低成本比肩 AWS。反观模型层，正因 DeepSeek 和 Llama 等开源模型的性能已能匹敌 OpenAI 与 Anthropic 的闭源模型，整个生态开始呈现碎片化态势。
- 多模型 – 闭源与开源模型之间的激烈竞争正以惊人速度催生性能更优越的模型。在云计算时代，公有云服务商并未实现每月性能的跨越式提升。
- 多模态 – 除了多模型复杂性，AI 还需处理语音、视频等多种模态。云计算时代虽有个别工作负载运行在专用云上，但与 AI 的多模态范式相比显得微不足道。
- 可移植性 – 应用程序在云平台间的迁移曾极其困难，团队不会按月或按季度转移工作负载。而模型在云间的转移则便捷得多。
AI 中间层的发展将与云时代截然不同。尽管 Kubernetes 等技术曾承诺实现真正的多云世界，但我们最终并未达成这一愿景。然而我们已然身处多模型时代——众多供应商（如 Deep Infra、Fireworks、Baseten 等）竞相争夺最佳推理托管方案的宝座。虽然托管只是推理的一个环节，但最激动人心的前景可能在于模型路由技术。
模型路由——AI 的枢纽节点
模型路由介于应用程序与模型之间，是多模型世界的关键赋能者。OpenRouter、Nexos.ai、Not Diamond、Martian、LiteLLM 和 Unify 等公司各自采用不同方法创造价值，为用户带来以下优势：
- 成本优化—— 例如 Martian 能在保持性能的同时将请求路由至成本更低的模型。模型路由器还消除了跨模型和跨云平台管理多个计费关系的烦恼。
- 模型测试 – OpenRouter 专为开发者打造，助您快速上手，访问最广泛的模型库之一，通过单一 API 轻松切换和测试模型。
- 性能优化 – 诸如 LiteLLM 等敏捷 LLM 网关能帮助客户提升并保障性能，在模型 API 失效时提供回退机制。
- 提示词管理 – 目前许多平台已提供提示词管理功能。例如 Not Diamond 更进一步实现了自动提示词适配，将请求路由至匹配的模型并生成合适提示。还有像 Braintrust 这类通过评估辅助路由的提示词管理方案。
如今，大多数模型路由都硬编码指向最新最强的模型。这种情况可能很快会演变为基于模态和性能的动态模型路由。最终形态可能是一个更智能的层级，能动态变更路由、适配提示词，并根据每次查询优化价格和/或性能。随着 LMArena 等来源的评估体系日趋完善，这将成为影响模型路由的另一个变量。但目前仍处于早期阶段。归根结底，如今的开发者们正在寻找统一 API 来访问所有闭源和开源模型、快速测试新模型、确保性能，并摆脱管理多个推理服务商的负担。
一个价值100亿美元以上的平台机遇
这是价值百亿美元平台机遇的起点。我们预见这样一个未来：领先的模型路由层将吸引越来越多开发者的目光。路由层可能成为 AI 模型界的”应用商店”——想象 Hugging Face 与 AWS Marketplace 的结合体。这对中间层之下的基础设施将产生深远影响：推理服务商和公有云可能被抽象化与商品化，陷入价格战泥潭，最终淡出舞台中央。
赢得开发者青睐并成为首选测试平台，是切入周边领域的绝佳楔子：提示词管理与优化、可观测性、合规审查、安全防护、成本追踪、模型微调、效果评估及反馈闭环等。开发者体验才是王道。当年有开发者在乎 Twilio 背后用的是 AT&T 还是 Verizon 的通信服务吗？（提示：没有）
风险警示：推理服务商的反击
如今，中间层的风险在于基础层玩家——无论是推理公司还是公有云厂商——都在向技术栈上游迁移。又或者，前沿实验室开发出强大到足以直接向企业出售的通用人工智能，并附带完整的基础设施栈。在云计算时代，AWS、Azure 和 GCP 从未允许其平台沦为廉价的计算与存储商品。相反，它们通过构建海量产品和开发者工具，将客户牢牢锁定在自身生态中。云服务的发展史暗示着，AI 领域的用户黏性很可能来自提示工程、微调、评估与监控层。当趋势已清晰可见，像 CoreWeave 这样的云服务商收购 Weights & Biases（Felicis 投资项目）这类评估平台也就不足为奇。我们预计未来会有更多试图掌控这一层的并购案接踵而至。
中间地带的争夺
中间层是一个极具价值的战略要地，正待各方争夺。最终胜出的可能是模型路由平台、评估平台，或是领先的可观测性解决方案提供商。但模型路由技术天生具备供应商中立和推理云无关的特性，使其既能当下为开发者创造价值，又能在未来攻占这些相邻领域。
