软件规模扩张了,风险没有
Overlook Ventures 创始合伙人 Amir Kabir 谈 AI 经济背后万亿美元级的缺口,以及为填补这一缺口而正在建立的公司。
这是一篇长篇分析文章,区别于标准版式,只有在论证需要足够篇幅展开时才会发布。
一、破产线
运行当今 AI 竞赛的实验室,对其中的算术一直直言不讳。只要需求滑坡持续一年,其中最激进的一批就会破产。问题将更少是技术失败,而更多在于其周边系统无法承接被建造出来的东西。
看看当前的规模:预计仅在 2026 年,Hyperscalers 在 AI 基础设施上的支出就将达到约 6000 亿美元,若计入整条供应链,总额将接近 1 万亿美元。行业今年将建设 20 吉瓦的算力容量,并正朝着到 2029 年达到 300 吉瓦的路径推进,每吉瓦成本为 100 亿至 130 亿美元。如今,单个超大规模校园每平方英尺所集中的可投保价值已达数千万美元。技术栈内的自主代理正以推理速度做出真金白银的决策。79% 的企业团队已经部署了这些代理,但只有 21% 拥有对其进行治理的成熟框架。
那是一个系统性的可靠性瓶颈。这是控制平面中的万亿美元级缺口,它决定了这些模型中究竟哪些被允许真正触及实体经济。
“软件实现了规模化,风险却没有。”
二、三条指数曲线
前沿实验室将它们所处的世界描述为两条指数曲线。
第一是能力指数级增长 :即模型变得更聪明的速度。按照它们自己的说法,这条曲线正接近拐点。2024 年通过律师资格考试的模型,到 2026 年已具备哲学博士级推理能力。领先实验室如今预测,未来 24 个月内将出现这样的系统:在大多数具有经济价值的工作中,其表现达到顶尖人类研究人员的水平。
第二是扩散指数级增长: 即这种能力流入经济体系的速度。该领域最激进的实验室在三年内从零增长到约 100 亿美元的年化收入。比历史上任何技术的采用曲线都更快。其现实程度之高,以至于该公司首席执行官曾公开表示,如果需求仅仅推迟一年,公司就可能破产。
他们前两点判断正确,但低估了第三点。
信任与问责的指数级差距 :用于保障、治理、承保、归因和为自主行动提供风险担保的系统,其发展速度比另外两者落后了数年。而且,与能力曲线和扩散曲线不同,它其实根本算不上一条曲线。它不会翻倍,也无法受益于摩尔定律、模型扩展或算力建设。它的推进速度取决于硬件认证、监管沙盒、验证协议、安全标准修订以及机构治理周期。
AI 可以按算力扩张的速度实现规模化。信任的扩张速度,则取决于后果显现的速度。
此外,AI 是最显眼的催化剂,但更深层的变化在于自主性。现代经济史上,软件首次正在超越预测与推荐,迈入决策与行动领域。

Google 诞生于信息的丰裕。CrowdStrike、Palo Alto Networks 和 Okta 则诞生于云计算的繁荣。
下一代定义类别的公司,或将诞生于让智能值得信赖这一挑战之中。
随着系统获得作出决策、采取行动并持有被授予权限的能力,全新的风险形态也随之出现。治理、保障、观测、验证并转移这些风险所需的基础设施,就是我们所称的“风险基础设施”。
看看一些证据: 在保险领域 ,ISO 批单 CG 40 47 和 CG 40 48 刚刚将生成式 AI 从一般责任险保障范围中剔除;一夜之间,一类原本由现有保单吸收的“隐性风险敞口”默认变为未投保状态。职业责任保险公司正将智能体错误重新归类为“系统性软件漂移”,这一被排除在承保范围之外的类别使损失无险可赔。 在监管方面 ,仅在 2024 年, 美国 45 个州就提出了 700 多项 AI 法案 ,而欧盟《人工智能法案》的高风险要求将于 2026 年 8 月起具备可执行性,罚款最高可达 3500 万欧元或全球年度营业额的 7%。 在信息披露方面 ,标普 500 指数成分股公司中将 AI 列为重大风险的比例,已从 2023 年的 12%跃升至 2025 年的 83%。 在网络安全领域 , 美国每起数据泄露事件的成本已达到 1022 万美元 ,其中如今每六起中就有一起涉及技术栈内部的影子 AI 智能体。在自动驾驶车辆领域 ,NHTSA 已将其安全基准从模拟里程转向强制性的实体及格/不及格评估,这表明“从仿真到现实”的辩护已不再是法律盾牌。 在国家安全领域 , 各国政府已经开始限制某些前沿 AI 系统在敏感环境中的部署 ,这说明当信任、归因和治理要求无法满足时,仅有能力本身并不足够。 在机器人领域 , 工业人形机器人正在仓库地面加速铺开 ,其速度快于规范自主物理行为体的责任框架所能制定的速度。我们甚至还没有认真思考,当个人人形机器人出现时,世界会变成什么样子。 在医疗保健领域 ,经过认证的诊断 AI 系统正在此前从未接受训练的患者群体上运行。这就是研究人员所称的“僵尸算法”,因为重新认证的周期赶不上模型漂移的速度。
所有这些信号都指向同一个方向: 创造能力的系统,其加速速度正快于那些旨在吸收后果的系统。 这一缺口指向了尚未建立起来的市场。
能力可以被工程化,而信任必须靠赢得。
能力与扩散的指数增长,默认信任也会以指数级速度追上。但事实并非如此;照目前的速度,如果不经过有意识的建设,它也不可能追上。智能正变得充裕。资产负债表承载能力却不是,而资产负债表承载能力,指的是为软件如今迅速变为可能之事提供融资、供能、治理和保险所需的金融、物理和制度能力。当信任的指数增长比能力的指数增长滞后数年时,能力就会失去部署的可能。这就是那个缺口。
这正是本十年将要回答的万亿美元问题。每一轮重大技术浪潮,都需要建立属于自己的基础设施层,才能实现安全扩张。信任的指数级增长,将是下一个。
“AI 是最显眼的催化剂,但自主性才是更深层次的变革。”
三、新的风险面
每一场重大的技术浪潮都会催生新的风险形式。
互联网催生了网络风险,全球化催生了供应链风险,而云计算带来了集中度风险以及许多其他风险。随着故障传播方式发生变化,自主系统的崛起正在形成一个全新的风险面。
此外,从历史上看,一个软件漏洞影响的是一家公司,一项制造缺陷影响的是一条产品线,一次人为失误影响的是一个决策。AI 改变了这些假设,因为一次单一的模型更新就可能同时影响成千上万家机构。
相关性决策风险。 从历史上看,各组织都是独立作出决策。它们或许使用过相似的工具,但决策本身始终是分散的。AI 正在改变这一点,因为越来越多的组织开始依赖相同的模型、相同的评估框架以及相同的推理引擎。风险不在于系统会一同失灵,风险在于它们会一同思考。一个有缺陷的假设、一次模型更新、一种隐藏偏见,或一种意想不到的失效模式,都可能同时在数千家组织中蔓延。历史上,多元化之所以能够降低风险敞口,是因为决策始终保持独立。如今,组织第一次开始依赖共享认知,而不只是共享基础设施。这是一个截然不同的问题。
模型依赖风险。 各类组织正越来越多地将判断外包给既非自己构建、也不受自己控制的系统。前几代技术外包的是算力,而这一代外包的是推理。关键决策正日益依赖于那些其激励机制、训练数据、演化路径以及决策过程仍处于组织控制之外的模型。问题在于,当关键决策流程依赖于由他人拥有的基础设施时,会发生什么。
治理风险。 软件正日益嵌入决策本身,而不再只是工作流程的一部分。客户服务决策、承保判断、法律审查、代码提交、合规预警、医疗分诊、运营路径调度等。如今,其中许多环节已在自动化系统、嵌入式模型和代理型工具的影响下作出,甚至由其直接执行,而管理层却无法对其进行全面观察或审计。AI 正在协议层面引入“架构脆弱性”。我们正将“黑箱”推理嵌入关键基础设施,却没有配套所需的核实层,以确保云端一次模型更新不会在现实场景中引发物理故障。
大多数组织都知道自己正在采用这些系统。但能准确识别它们嵌入了哪些关键决策的组织要少得多,而更少有组织能够说明,一旦这些系统失效,究竟会发生什么。
自主与具身风险始于系统不再只是提出建议,而是开始采取行动。智能体会调拨资金、签署合同、安排货运、批准理赔,并且越来越多地与物理世界发生交互。机器首次开始拥有被授予的权限,而不再只是提供建议。
同样的转变如今也正发生在仓库、工厂、物流网络、医院,并最终进入家庭。人形机器人、自动驾驶车辆、工业自动化系统和 AI 驱动的基础设施,正将决策从软件界面带入实体经济。
挑战在于,当这些系统能够采取行动时,由谁承担责任。责任、安全、问责以及风险转移框架,都是围绕人类行为主体建立的。它们尚未完全适用于这样一个世界:权力正日益被委托给自主系统。
这些风险中的每一种都会带来新的基础设施需求。这种对应关系是直接的:

正如网络安全源于网络风险——它并非一条单一的产品线,而是由监测、响应、身份和威胁情报公司构成的生态系统——这四个类别中的每一个都将孕育出属于自己的生态系统。
“风险不在于系统会一起失效。风险在于它们会一起思考。”
四、建设者
我首先是一名建设者,其次才是一名投资人。我在欧洲长大,十多年前移民美国,并以一个局外人的身份,从行业内部形成了这一论点。
我的职业生涯一直扎根于早期创业领域,从编写代码、创办企业软件初创公司,到在“第零天”推进资本募集与执行。
在 Munich Re,我曾是创建其风险投资平台的创始团队成员之一,帮助将其管理资产规模从约 5000 万美元扩大到逾 10 亿美元。这个位置让我获得了一种不同寻常的宏观视角。我目睹了保险公司为第一代由 AI 驱动的企业承保。我看到这些保单中的假设不再与其所覆盖的风险敞口相匹配。我还看到再保险公司提出了其再保险协议原本并非为回答而设计的问题。
大多数投资者看到的是一个个行业。然而,以我作为运营者的视角来看,行业并不是正确的分析单位。保险、网络安全、自动驾驶出行、机器人、金融网络和机器学习,都在撞上同一个根本性瓶颈:创新推进的速度,比那些原本用于消化其后果的制度建设快了几个数量级。
风险一直是支撑每一个重要市场的隐性底层横向结构,而自主经济的到来只是让这一现实变得再也无法忽视。Overlook 的存在,正是为了构建并支持这一层的基础设施。
V. 架构师们
每一场技术革命都会催生一个新的基础设施层。互联网需要云基础设施,数字商业需要网络安全,而自主经济将需要风险基础设施。
Overlook 的存在,是为了支持那些构建这一层的架构师。
我们于2025年启动,而我们投资组合中的每一家公司之所以存在,都是因为这套基础设施中的某一部分仍有待构建。这些层级与风险暴露面直接对应:针对相关联决策的核实与安全,针对模型依赖的控制与韧性,针对治理的可观测性与审计,以及针对自主和具身系统的问责与风险转移。不要将它们视为一个投资组合,而应将其看作一个正在实时组装的系统的各个层级。
核实与安全。 当决策变得相互关联时,就必须对其进行核实——既要核实其可靠性,也要核实其安全性。Asymmetric Security 正在构建可将事件响应自动化的 AI 代理,数分钟内即可提供法证级分析。Hacktron 则将这一边界延伸至自主进攻,通过自动发现并利用代码漏洞,让安全团队能够在对手之前率先识别这些漏洞。另有三笔处于隐身模式的投资补全了这一层:代理可靠性基础设施、面向 AI 代理自身的自主安全,以及针对一种在十八个月前尚不存在的攻击面的语音 AI 安全。
控制与韧性。 当组织将判断外包给既非自己构建、也无法掌控的系统时,它们就需要新的控制层。Seedless 正在构建用于受监管 AI 落地的合成数据基础设施,因为最需要 AI 的那些行业,无法让其真实数据离开公司内部。一项尚处于隐身状态的投资项目正在打造后训练基础设施,使受监管行业能够根据自身数据和风险约束对前沿模型进行适配。
可观测性与审计。 当由软件驱动的决策在组织内部变得不可见时,就必须让它们变得可见。Eloquent AI 正在为受监管的金融工作流程构建 AI 操作员,因为那些出错代价高昂的类别——例如保险、医疗保健和金融服务——一直被留到最后。Prediction Guard 是面向受监管企业的 LLM 安全与治理平台——这一层决定了智能体被允许做什么、可以接触什么,以及这些动作如何被记录、归因和审计。与此同时,一项处于隐身状态的投资正在构建智能体可靠性基础设施,使这一控制层能够在经编排的智能体系统中得到执行。
问责与风险转移。 当系统开始承接被委托的权限并在物理世界中采取行动时,其行为后果必须能够被明确归责,并在财务上得到承接。 IronGrid 利用结合物理原理的 AI 建模,预测关键基础设施中的故障;因为随着 AI 进入实体经济,基础设施风险的承保能力也必须同步跟进。 Strala 正在为保险公司、自保公司和 MGA 重建理赔可观测性层,使价值链中最关键的赔付流程能够实现实时、可信的决策。 Soteris 正在从底层重建承保基础设施。 Soma 则以自主 AI 经纪人为核心重建分销层,首先切入规模达 1300 亿美元的超额与剩余保险市场。
六、押注
历史上每一项具有变革性的技术,都需要从零开始构建新的信任基础设施。蒸汽机催生了锅炉保险和 Hartford Steam Boiler。电力催生了消防法规和 Underwriters Laboratories。汽车催生了 DMV、安全带以及现代汽车保险业。核能催生了 IAEA。构建这些层层制度与机制的公司和机构,后来都成为随后一个世纪里的长期支柱。AI 也遵循同样的模式,只是进程被压缩了。为此前几次技术革命建立的信任基础设施,其寿命甚至超过了技术本身。为 AI 建立的信任基础设施,很可能也将如此。
从历史上看,一轮技术浪潮中的“效用”层往往最先催生巨头,但“完整性”层——即那些让这种效用对全球经济而言变得安全、合规且可部署的企业——最终会攫取长期、可持续企业价值中的主要份额。我们预计,治理自主经济的企业将复制此前云计算和网络安全巨头的发展轨迹。
一个显而易见的反驳是,前沿实验室会自行构建这一层。它们会构建其中一部分。它们已经在安全、安全防护、评估和企业控制方面进行了大量投资。但信任层不可能完全由那些争相部署能力的同一批参与者所拥有。市场需要独立核实、外部问责、保险承保能力、法律归责,以及其激励机制不与模型采用挂钩的治理基础设施。信任的指数级扩张将部分在实验室内部构建,但只有通过那些激励方向恰恰相反的独立参与者,它才能真正获得市场认可。
由此可以得出三个预测。每一个都可以检验,但没有一个已成共识。
-
到 2030 年,《财富》500 强企业在 AI 治理上的支出将超过 AI 部署支出。不是因为监管机构提出要求,而是因为在缺乏这些控制措施的情况下运营,其成本在经济上将变得不可接受。
-
第二,智能体、自主系统和机器人(物理 AI)责任险将成为独立的保险险种,其规模可与网络保险相提并论。这将是自 20 世纪 80 年代环境责任险出现以来,行业中增长最快的险种。如今率先签发首批保单的保险公司,将在未来二十年占据这一市场。
-
第三,未来十年最具价值的 AI 基础设施公司,将构建让模型能够被部署的那一层。前沿实验室对能力呈指数级增长的判断是正确的。但与此同时,它们也在未明确点名的情况下,界定了那个决定其愿景能否扩展的万亿美元级缺口。
智能正变得越来越充裕,而信任正变得越来越稀缺。
下一代万亿美元公司,将围绕这种失衡而建立。