模型是租来的。鞍具是你的。
上周四，OpenAI 说它最新的模型在 ARC-AGI-3 上拿到了 99.9%——这是一套对人容易、对机器极难的问题。
同一天下午，构建该测试的基金会 ARC Prize 公布了同一模型的另一个数字：62.7%。
没有人撒谎，也没有人算错。中间这 37 分 是有人写的软件；而今年，那个「有人」还可以是你。
两年来，「只是个 wrapper」是一句侮辱。这一周，里面的 harness 被重新定价为 37 分。
为什么同一模型打出两个分数
模型没有记忆。你发给 LLM 的每一个请求，它都从零开始，除非你再次告诉它，否则它不知道三十秒前发生了什么。
任何长于一次交换的任务都需要 harness——包在模型周围、把工作粘在一起的软件。它能碰哪些工具？它能听到哪些已发生之事？它何时摘要而不是重读？某步失败时怎么办？每一个答案都是有人写的代码。如果你交付过 agent，你就写过 harness，无论你是否这么叫它。
想象一个没有记忆的天才承包商。每天早上他到场时完美掌握手艺，却对你的房子一无所知（他还按小时计费，所以柜台上的说明不是小决定）。他今天能完成什么，完全取决于你留在那里的东西。
上周六我花在柜台上，而不是承包商身上。我的创始人研究 agent 总在做到一半丢线，于是我阻止它在每一步重读整条线程，并教它在死链时重试而不是放弃公司。同一模型。有用产出大约翻倍，而问题多半出在我身上。
两个 harness，一个模型
ARC-AGI-3 把模型丢进它从未见过的小游戏里，没有说明。它必须摸索、搞清规则，然后玩——成百上千回合，每一回合都是单独请求。无论你是否有意，它都在测 harness。
ARC Prize 用两个 harness 跑了该模型。
他们的 Standard harness 给每个模型同样的裸接口。模型给自己记笔记，笔记会带下去。其余一切在回合之间被扔掉，包括它自己的推理——把它带到答案的演算过程。下一回合，它读笔记并全部重新推导。
OpenAI 的 Provider Adapter 在请求之间保留推理状态，并在对话变长时压缩。演算过程延续。模型不必重建它已理解的东西。
便利贴 vs 脑子里仍装着整份工作走进来。同一位承包商。
在 OpenAI 的 adapter 里把 reasoning effort 设为 none：96.7%。在 standard harness 里设为 maximum：62.7%。一个被告知不要思考、但状态被保留的模型，击败一个尽量用力思考却每回合丢位置的模型——差 34 分。而且更便宜：在两个 harness 都解开的 167 个游戏中，adapter 快 3.66x，token 少 49%。桌上最贵的一次跑，$49,791，得分 35.2%。把自己的结论重新推导上百次，很贵！
这对你值多少
两个数字都回答真实问题。standard harness 问：在公平场地上，这个模型与其他每个模型比如何。adapter 问：用其制造者自建的管道，它表现如何。你可以比较前者；你会交付后者。OpenAI 公布的是后者。ARC Prize 第一天就公布了两者，并明确说它并不声称这是 AGI。
这一区分对你很重要，因为两年来，每个建立在别人模型上的创始人，在同一个房间被问同一个问题：当实验室把这原生装进来时会怎样？你一直用信念回答，却没有证据，因为根本没有证据。
现在有一张表。在公开最难的 agentic 基准上，管道值 37 分，而且管道更好的那次跑更便宜。这是你的引用。放进幻灯片。
不过要对它证明了什么保持精确。harness 只是人们说的「wrapper」的一部分——你的工作流、数据与分发也在里面。harness 是现在有数字的那一部分。
如果你是买而不是建，有一个有用的追问：那个 demo 跑在哪个 harness 里，在你要卖给我的设置下它得多少分？不是假设——OpenAI 公布 GPT-5.6 Sol 的 ExploitBench 分数为 11.5%，高于 5.5%，却在一个 Sol 并不出售的 reasoning 水平上，然后说正在考虑撤回。
我不知道这能持续多久。Anthropic、Google、Microsoft 与 Nvidia 现在都卖 harness，context compaction 在一年内从某人的 seed round 变成了复选框。我的诚实判断是：优势真实且在缩小，所以把它当起跑优势而不是护城河。当它合上时，剩下的是实验室无法远程复制的部分：你的工作流、你的数据，以及如果你消失会注意到的客户。harness 为你买下用来建造其中之一的那些季度。
信息流里
OpenAI 在公布分数后还在改分数。Fortune 的 Emily Forlini 比较了发布帖的存档快照，发现五个指标动过。Astra 的幻觉率显示为 4.2%，然后 2%，然后又是 4.2%（一次无人宣布的来回）。Anthropic 的 Fable 5.1 在 FrontierMath 上掉了近十分，然后落在 83%。Stanford 的 Anka Reuel 与 Mike Hardy 称这种做法为 benchmaxxing：在新条件下重跑评测直到数字变好。Snorkel AI 的 Vincent Sunn Chen 给出了公平辩护：分数在发布前最后几小时确实会动——外加一个值得偷的修复：你修订已公布数字时，说清楚改了什么。
专家们曾认为形式化费马大定理要花多年。结果花了十一天！Anthropic 的 agent 用 Lean 写了证明——1300 万行、29,500 个中间定理，有史以来最大的形式化证明。不过注意领域。Lean 免费自动验证每一行，这是机器能全力跑十一天并产出任何人都能信任之物的唯一原因。便宜的检查才让它能跑那么狠——当你决定给你自己的 agent 多少绳索时，值得知道。
Meta 搁置了（部分）用 agent 替换自有员工的计划。Project OT 本可能让一些团队裁撤多达 60%，并把工作交给 agent。Zuckerberg 在 5 月 19 日夜里叫停。大约 8,000 人的裁员次日早上仍继续。Meta 自己的 CTO Andrew Bosworth 公布了原因：对内部平台的代码变更同比 +220%，真正到达用户的功能 +36%，重大事故 +40%，扑灭它们的时间 +70%。三倍代码，几乎没有更多产品，多得多的 pager duty——符号翻转的 Lean 证明。如果你卖的是替换人力的 agent，那 40% 就是买家本季会引用回给你的数字。
布朗克斯一家医院把 12 名护士的工作移到软件，工会说这违反合同。纽约州护士协会称 Montefiore（该区最大医院系统之一）把 utilization review 交给 Datavant 软件，然后提交申诉，主张其违反护士在 41 天罢工中赢得的 AI 保护。Montefiore 说该工具是非临床文书。我追踪医院 IT 预算多年：utilization review 从 C-suite 看像文书，从病房看像判断。如果你卖进医疗系统，那条缝就是整笔销售。
速览
- AT&T 把 40% 的员工 AI 流量送到开源权重模型，并希望到 60–70%。在大约每天 450 亿 token 的规模上，把简单工作路由到开源模型，使编码成本降 56%，质量仅降 2%。Nvidia 最新贡献是 PAIR，一个免费模型路由器，把 agent 子任务分给家里空闲的 GPU——五个 subagent 在一台笔记本上要 18 分钟，在三台上 8:48。又一个 harness（这个打着领结，还帮你砍 token 成本）。
- 你的模型账单在降，记忆账单不降。DRAM 自 2025 年初上涨超过 200%，三星、SK 海力士与美光已卖完 2027 产能（「卖完」在这里有活——芯片在存在之前就被订走了）。如果你的 2027 计划假设在自有硬件上有便宜推理，重新给硬件定价。
- 美国政府首次在 AI 版权上选边。DOJ 于 9 月 1 日提交 20 页 interest 声明，在 Times 案中支持 OpenAI，称 LLM 训练「extraordinarily」转化性。几天前《西雅图时报》与 Newsday 对 OpenAI 与 Microsoft 提起自己的诉讼。我在那个行业待过十年，从未想到 DOJ 会成为训练数据上最大声的声音。
- Kimi 背后的实验室要上市了，如果你在路由到开源权重模型，这很重要。Moonshot 在香港保密提交，据报寻求 30 亿美元、估值约 500 亿美元。公司才三年。如果你跟随 AT&T 走开源权重路径，发布这些权重的实验室的偿付能力，刚刚变成你供应链的一部分。
值得关注
Astra 于 9 月 3 日发布。三天内 X 上全是人们用它做的东西，demo 令人瞠目。
Peter Gostev 把六幅梵高变成 Three.js 里一座可走的小镇。Tom Krcha 喂给它一张旧蒸汽火车图纸，说拿回一个有 3,295 个可编辑对象的 Blender 模型。Rohan Varma 说它构建并部署了一个 RuneScape 风格的多人浏览器世界，然后剪了预告片。全是创作者自述；没人复现过。
看看它们的共同点。每一个都是模型驱动 Blender、Godot 或 Three.js 数小时，在它并不拥有的工具之间把工作粘在一起——野外的 harness 论题，被 demo 成模型能力。
预测：到 12 月 31 日，这些周末构建之一会有付费用户。不是 waitlist，不是 wishlist——真正的订阅者。它们太漂亮了；人们会想玩。
周一试这个
你跑过个人 agent 了吗？Grok Bot、Instinct、Muse、Perplexity——挑一个，给它一件真事，不过或许先别连工作邮箱。
选一个messy 的人类任务：重新设计房间、跑求职、给孩子报排球。这些都是我们团队测过的用例。看它卡在哪里，注意你不得不递给它什么才能让它松开。那就是你的 harness，从另一侧看。
公平警告：如果贪心到让 agent 去订难订的位，Resy 会因为你的 agent 凌晨 4 点干的事封你。真实故事（致敬我的朋友 Sheel Mohnot，他在 X 上分享了血淋淋的细节。）
这周你见过的最好的 AI 作品是什么？我先说，在评论里。
本文由 RecodeX 编译自 Your Harness Is the Product（作者：Parul Singh），首发于 SandHill.io #301 推荐阅读。译文仅供学习交流，观点不代表本站立场，版权归原作者所有。