深度文章
信息来源:saranormous.substack.com 2026.06.11 02:27 约 12 分钟 AI 持续阅读

不可驯服者

RECODEX · 深度文章 AI

到了 2026 年年中,投资人版本的“AI 精神错乱”体现为一种绝望:觉得已无物可投,我们应该把所有钱都投进 Anthropic 和 NVIDIA,然后回家。我从未有过这种感觉。过去几个小版本以来,我一直确信这些模型已经比我更聪明;如果按市场价格,我也会很乐意买入 Anthropic 和 NVIDIA;我那些最聪明的朋友也相当确信,自我改进很快就会奏效——但我依然没有这种绝望。 这种绝望并不愚蠢。其逻辑是:如果模型在所有事情上都持续变得更强,那么所有构建在模型之上的公司,都不过是等待被吸收的一层薄薄封装,最终能留存的价值,只有算力和最前沿的权重。

就拿软件来说,这是“绝望论”最倚重的一个案例。Devin 于 2024 年发布,在标准软件基准测试中解决了 13% 的任务,却基本上被一笔带过。一年半后,最好的智能体已将这一数字推高到 80% 多,并且已经在 Goldman Sachs 和美国陆军内部承担真实工作。几乎所有人都得出了同样错误的结论:模型吞掉了软件工程。但随着模型吞下软件工程中最容易衡量的那一部分,我们正在重新认识许多团队早已明白的一点——工程工作从来都抗拒被量化,而最容易衡量的部分未必是唯一重要的部分。

MIT 的 Mert Demirer 及其合著者终于给出了量化结果:在超过 10 万名开发者中,最新的代码智能体将代码编写量大致提升了 180%,而真正上线交付的代码量仅提升了约 30%。编写代码变得廉价了。其余部分仍然要经过人来完成,而且这很重要。当然,整体影响依然惊人。

基准测试是可以衡量的东西,而可以衡量的东西,就是可以据此训练的东西。因此,编程智能体最先成熟:编译器是免费的验证器,测试套件是免费的验证器,而当答案能够以零成本自我校验时,你就可以围绕这种校验反复打磨,直到把它攻克。但通过测验,从来不意味着对一个已有十年历史的代码库而言,这次改动就是正确的——这个模块之所以存在,有三个无人记录的原因;而部署流水线则靠一个没人愿意承认是自己写的 cron 任务勉强维系。

那种正确性无法从排行榜上读出来,实际上也无法从任何东西上直接读出来。你只能把如此复杂的系统放到真实世界中运行足够长的时间,在学习中判断它是否有效;而更聪明的模型并不会让世界运转得更快。没有人会对一个规模堪比 Google 的系统做完单元测试、看到绿色勾选就放心信任它;你信任它,是因为它经受住了多年真实负载的考验。这样的正确性不仅是私有的,还是一种缓慢形成、资本也无法压缩的护城河。即便是乐观派也承认,时间这道关无法跳过:开创了 OpenAI 推理模型的 Noam Brown 最近写道,评估一个智能体在一年期跨度上的表现,唯一稳妥的办法或许就是让它运行……整整一年。

正如 Gabe Pereyra 所说,真正的自动化并不只是模型变得更强。它是产品、模型、工作流程和公司共同演进,而这四者中有三个的推进速度都受制于组织本身。 推动人发生改变,是任何基准测试都无法触及的部分:让一位持怀疑态度的合伙人改变她处理事务的方式,在重建过程中维系团队的稳定。也正因如此,当我们聘请一位 CEO 时,处理人的能力至少与分析能力同等重要,而更聪明的模型并不会改变这种权重。反馈是模糊的,时间跨度以年计,而信任归属于个人。 我认识的每一家公司,都让所有工程师投入前沿编码模型,但没有一家公司以接近那样的速度改变自己的工程组织。采用只用了一个季度,而那真是代币增长神奇的一个季度!但重建却需要数年。

清晰可辨的,正是正在流失的。真正有价值的工作,从构造上就是不可清晰辨认的:凡是能放到排行榜上衡量的,都可以被拿来训练;因此,任何可度量的东西,都已经在走向商品化的路上。这个过程需要时间,也从来不是彻底完成的,但方向从不会逆转。用金钱来表述,正如我在 Rippling 的朋友 Matt MacInnis 所说:花一个代币去回答一个泛泛的问题,几乎一文不值,因为任何人的模型都能回答;而花一个代币去基于你公司的数据进行推理,则要值钱得多,因为它做的是你真正想要的事,而不只是看起来合理的事。

那些可衡量的工作正从两个方向被吞噬。 自下而上,任务趋于饱和:一旦一项工作能够以低成本被检验,买方就不再关心究竟是哪个模型完成了它,而是开始关心它的成本是多少,于是这项工作就会落到当周最便宜的开源或蒸馏模型手中。在一切可能产生影响的地方,利润率最终都会变得重要。 自上而下,实验室正试图让模型吞下自身的脚手架。检索、在廉价调用与昂贵调用之间进行路由、工具使用,甚至推理策略——所有那些过去包裹在模型外部的装置,都在被拉进权重之中,直到封装本身就是模型。这就是“吸收前沿”。 利润率压力也会朝另一个方向发挥作用:一个通用代理必须对任何事情都做好准备,这意味着高昂成本;而一个聚焦型应用程序则可以围绕单一工作流持续调优,直到它只消耗其中一小部分的 token 成本,而且与出售这些 token 的实验室不同,它能将这部分差额留给自己。

因此,对于任何一种工作,我们都可以问两个问题:它的正确性是否只能在私有且高成本的条件下验证,也就是那种只存在于某个人数据内部的真相?它是否又被高墙围住,锁在一个你无法进入的系统里?再把这些因素与这项任务本身有多“饱和”放在一起考量,你就会得到一个 2×2 矩阵。答案公开、竞争饱和的工作,就是商品化的代币,开放模型主导这一领域。答案公开的前沿工作——编码基准测试所在之处——则是实验室取胜的地盘,因为当评测是免费的,拥有评测本身毫无意义。真正的奖赏在最后那个角落,在那个“不可训练”的角落:前沿工作,其正确性只存在于私域之中。你可以在为 AI 原生先锋公司提供服务的推理云中看到这一点:其中绝大多数代币并非由通用开放模型生成,而是来自定制模型。

通往最后那个角落的高墙,高低不一。单个开发者的玩具代码库是可迁移、标准化的,因此攀爬并不困难。银行的生产系统则两者皆非,而你也不可能仅凭在 SWE-Bench Verified 上高出 2%的聪明程度,就拿到 root 权限。

能力能吞噬很多东西,但更好的模型并不会把私有的真实依据变成公共信息。它拿不到许可证,无法对责任签字,也不拥有公司的文件;当答案出错时,它也不能成为被起诉的一方。这里的瓶颈不是智能,而是权限,以及问责。你可以设想一个比任何人都聪明得多的模型,但它仍然得先被允许进门,而且仍然需要有人为它的行为署名负责。

那扇门上有门锁,也有插销。门锁是环境:只有在你被信任进入某个系统之后,在通过安全审查、完成集成、签下由你对结果负责的合同之后,你才有机会在那个系统内部验证 AI 是否真的做出了有用的事。插销则是用户。如今,大多数美国医生每天都会打开 OpenEvidence,而再多的算力也买不来这一点。实验室明天就可以训练出一个完美无缺的医疗模型,但它依然无法进入内科医生的使用习惯,也无法进入 UCSF 的决策流程,因为信任是在关系中、在用户默许下缓慢建立起来的,而不是靠能将其抹去的梯度下降。

这同样也是工作的本质。一个应用程序之所以能在“不可训练”的角落占据一席之地,靠的是去做那些并不光鲜的工作:整理一家公司的私有现实,使模型能够基于其采取行动;把执行所需的工具交到模型手中;与顾客合作,改变其劳动力的现实状况。能够提供这种“翻译”能力的公司很难被复制——而且这种翻译永无止境。集成与维护会伴随双方关系持续下去,而胜出的将是那些把领域专精的工程师和工具部署在顾客身边的团队。

举个例子,在一家顶级白鞋律师事务所,仅并购业务组一年处理的交易就接近一千宗。出于保密等诸多原因,你不可能让数百名初级律师各自把客户文件下载到电脑端,再让一个全年龄代理一路扫过去;即便真能这么做,你得到的也只是零散片段——一次只看到一名初级律师的修改,根本无法把握一整笔交易是如何流转推进的。真正重要的信号存在于交易这一层级,而一笔交易有其自身的结构:对并购而言,包括保密协议、条款清单、尽职调查、购买协议、附属文件以及交割清单;对知识产权诉讼而言,则包括动议、证据开示、现有技术、更多动议。每个业务领域都有各自的一套,律师不能跨领域互换,工具也同样如此。而这家律所真正要解决的问题,比这一切都高一个层级:让所有业务领域并行运转,就像一位顶级合伙人能够同时管理数百个项目、持续开拓新项目,并培养初级律师一样。要改造这样一家律所,并不是某个可以写出评测标准的单一任务。 这需要一名操盘者像“Moneyball”那样运作,在极其模糊的中间目标、不完整的反馈以及极其漫长的时间跨度中,并且还要身处一个不断变化、无法静止的环境。

不易读的价值同样也很难销售,不幸的是,原因与它难以商品化如出一辙:一家企业无法仅凭外部观察判断,AI 是否会比基准方案更有效地改造其运营。因此,最强的公司不再试图从外部加以证明,而是先进入体系内部,再按结果定价。Sierra 只有在其智能体解决了顾客问题时才收费;如果把问题转交给人工处理,则不收费。这样一来,价格本身就成了评估标准,而这之所以行得通,只是因为 Sierra 掌握着“已解决”的定义。Cognition 的 Devin 在软件领域采取了同样的做法,推出了“性能保证”,而只有在一个你已获得信任、深度嵌入其中的系统里,你才能对结果作出这样的承诺。

即便是提供代币服务这一层——那个人人都爱称作纯粹大宗商品的环节——其表现也并非如此。最优秀的原生 AI 公司会将其服务集中在一到两家提供商(Baseten 或 Fireworks)上,因为每代币成本会按部就班地商品化,但真实流量下的可靠性以及对稀缺算力的保障性获取却不会。在哪里提供服务,与使用哪些模型,是两个不同的选择。价格是推理中唯一表现得像大宗商品的部分。

一个常被提出的质疑是:实验室就是你的供应商——它为什么不会以低于成本的价格推出自己的第一方产品,把你拖垮;或者直接撤销你的 API 访问权限,自己拿下市场?这才是真正令人绝望的版本,而它只有在模型层是一个单人游戏时才成立。显然并非如此——它看起来更像是一场“三个半玩家”的生死混战,外加一批训练进度落后六个月的国际参与者,以及一个规模是去年 5 倍的发展联赛。顾客希望自己的供应商之间存在竞争,而实验室想要的是市场份额,胜过它们想让任何一个应用程序死掉。

你可以在这些实验室正面竞争的市场中看到这一点。在面向消费者的聊天领域,最好的模型从来都不是单靠实力取胜。ChatGPT 在多年的真实竞争中一直保持领先,而它如今流失的份额流向了 Gemini,依靠的是 Android 和搜索的优势,而不是更好的模型。Anthropic 目前被预测市场(以及互联网上的整体风向)视为拥有最佳模型,但在消费者聊天领域几乎无足轻重,反而是在企业和编程领域建立起了自己的业务。如果一个更好的模型都无法在这个最核心的应用中夺走对手的用户,它就更不可能靠集成打通医院的记录系统或银行的责任体系。公众的选择依据早已不止于今天的编码能力。如果前沿领域依然拥挤,那么其上层将具备价值。

如果一项工作无法从外部进行评分,那么就必须由内部人士来决定什么才算是好的答案,而这一判断本身就是全部关键所在。足够多这样的判断一旦被记录下来,就会形成一个基准。Harvey 为法律领域发布了这样的基准,Sierra 则为语音代理发布了一个。你之所以有资格为一个领域定义“好”意味着什么,是因为你已经成为这个领域正在使用的那一个,而这些公司正是在真实采用的艰难过程中赢得了这种资格。

决定真金白银流向的评估,是私有且因公司而异的:某家公司在某类事项上,什么样的成果才算合格,而且这一过程远未结束,因为法律的深度远非任何公开测验所能企及。OpenEvidence 正在确定何为安全的临床答案。这一切其实都不是真正意义上的衡量,而是对什么是真实、什么是好的判断,并将其书写下来,直到它成为衡量其他一切的标准;而基础实验室无论变得多么聪明,都无法主导这一过程,因为这种地位只存在于行业内部。这种权威往往落在它原本就存在的地方。资深律师书写法律基准。界定何为安全的临床答案,取决于内科医生。而“问题已解决”的含义,则由那家早已掌握顾客的公司说了算。

“可吸收前沿”还在不断抬升,因为我们持续学会衡量更多工作,而凡是可衡量的,都会被吞噬。不可训练的地带会在任何立足其上的人脚下不断收缩,因此你无法找到一个可防守的位置然后高枕无忧。你只能不断迈向那些尚无法被评分的领域,并持续重做风险定价。 在一个狭窄任务上,凭借你的私有数据和自有评估体系,你可以把训练推到前沿,在真正关键之处击败通用模型,而这种专用模型也会成为护城河的一部分。另一方面,在通用模型上竞争是一场资本战争,你会输给拥有最多算力的人;这正是那些数据获取浅、任务又高度可度量的公司的陷阱。对这类公司而言,一旦为了生存而押注在一大片通用任务上训练得比前沿更强,胜负看起来往往主要由数据中心规模决定,而结局通常不是诞生一家独立冠军,而是被卖给算力更雄厚的一方。

所有这些都属于防守。更难的是进攻——首先要决定该构建什么。这正是我一整年都在寻找的东西,而我大概只会找到三次。模型在这方面帮不上忙。你让它做什么,它就做什么,却无法告诉你什么值得去做;而这一点也无法被基准测试,因此你也无法训练它。这也是为什么既有巨头无法通吃一切:他们守住自己已有的地盘,而下一个机会,则来自某个比我们其他人更早发现用途的人。也许,“意图”甚至比算力还要稀缺。

这种绝望只说对了一半。那层薄薄的封装确实正在被吞没,而如今许多看起来像公司的东西,本质上也只是薄封装。错的是它对剩下什么的判断。机制已经很清楚;终点却并不明确。若要我下注,我会押注于这个方向:智能会持续变得更便宜,而价值会不断滑向模型无法触及的少数地方。所谓“不可训练”,就是带着历史沉淀的价值。所以,进入其中一个这样的地方,去做那些并不光鲜的转译工作,并开始把那里“什么才算好”写下来,因为总会有人这么做。今年被引用最多的基准测试分数,不过是一张即将变得毫无价值的疆域地图,也是一则通知:有些人即将失去定义“什么算好”的权利。

了解 RecodeX 的更多信息

立即订阅以继续阅读并访问完整档案。

继续阅读