去年智能稀缺。现在焦点是可靠性、速度与成本。
今年早些时候,Cloudflare 的一名销售人员向 CIO 要 API 密钥。这名销售用 AI 构建了他们所说的面向 go-to-market 团队的 SuperApp。他们只需要生产环境访问 Cloudflare 约十几个系统 of record,以及对部署流水线的管理员权限,就能让它运转。
那名销售团队成员只是举手要用这些工具改造工作方式的人潮中的第一个。Cloudflare 有义务装备并使他们能这样做。但他们也有义务保护系统、内部数据与客户数据安全。
于是 Cloudflare 为工程师与销售人员建了一个内部工作空间 Cloudflare OS:共享的 skill 文件库保存公司上下文;一个门户把 Agent 连接到内部系统,权限范围限定为该人已有权限;一个网关记录每次模型调用并按角色门控模型。一个月内,销售团队在区域规划与提案上估计节省了 1 万小时,员工构建了超过 4000 个小应用。
二月,我写过公司用自己的上下文包装编码 Agent。自那以后,harness 已成为整个公司——不只是工程——速度、可靠性与成本被决定的地方。
那么什么是 harness?技能、上下文、工具、确定性门控与评估,确保团队能快速、廉价地交付更快、更准确的结果——无论是在软件工程还是 GTM。若做得好,这些 harness 通过使用数据与评估持续更新技能、逐步改进结果,从而使能力复利。
速度优先。 Vercel 在生产中运行超过一百个 Agent,在一个 monorepo 中,“以同样方式构建、观测与升级,无论哪个团队拥有它们。”其 RevOps 团队构建了 Athena,用六周、无需工程师,就能从 Snowflake 与 Salesforce 回答 pipeline 与预测问题。
可靠性来自错误之后写下的规则。 Anthropic 的现场营销人 Adam Ward 构建了周一摘要,给每位销售发送个性化简报。早期,当活动在源表格中没有 URL 时,Agent 会发明一个。他在 prompt 中写了一条硬规则:永不发明 URL;到第一周末,prompt 里有九条规则,每条都追溯到某位销售的反馈。
成本是每个公司必须解决的问题,因为用量爆炸。 现在公司实现编排层,为正确任务选择正确模型,并在可能处用确定性代码替换 AI。Writer 的对照研究显示,六种模型上 22 个任务加编排层,使每任务成本降低 41%。
然后是上下文——关于如何在你公司做事的权威指南。它设计上带有观点,包含在你公司完成工作所需的全部信息,无论是客户支持、营销还是工程。
那么如何开始?与领域专家合作记录工作流。然后创建技能与上下文文件,画出数据连接,定义用户需要的输出类型。再创建评估以理解工作流是否成功,以及改进不成功之处的循环。
与我紧密合作的团队谈到,过去六个月产出提升 5–10 倍。一个团队告诉我,他们已在今年头几个月完成了五年路线图。
从这里起,我预期后训练工具将在未来 12 个月显著民主化,由 Thinking Machines 与 Prime Intellect 等公司引领,使没有 AI 研究人才的企业也能对开源模型做后训练,创造自己的定制公司智能,进一步加速改善对客户的服务。
链接
世界模型进展的速度令人震惊:
Oliver Cameron(@olivercameron)发帖关于 Periodic Labs 的 RL 数据:“实验室数据 + midtraining + RL 把 X 射线衍射分析成功率从 2.7% 提到 55.3%(约 20×),在 134 个困难样本上,由对照人类专家校准的模型评委打分。我们看到相对额外 RL 的良好缩放特性。”
Liam Fedus(@LiamFedus):我们在门洛帕克建了高通量材料实验室,在实验与模型之间创造循环。实验室生成新鲜数据,模型从中学习,然后帮助我们决定下一步尝试什么。仅用 1300 张 H200,加上数月实验数据,我们 mid-trained…
【原帖含嵌入视频;未能解析稳定 video.twimg.com URL,请见原文推文嵌入媒体】
Liam Fedus(@LiamFedus)原帖:We built high-throughput materials labs…
Richard Socher(Recursive)谈 AI 加速科学发现的机会。
若需要“触摸草地”时刻,我推荐 Annie Dillard 的这篇散文:
Peter Brannen(@PeterBrannen1):RIP Annie Dillard,她的作品常让我读完后数分钟无法理性说话。这篇散文 This Is The Life 是我进入她作品的入口。
边缘算力能力是机器人学的巨大问题。以下是前沿机器人公司把推理放在哪里:
Vedant Nair(@vedantnair__):@SemiAnalysis_ 最近发表了关于机器人公司把推理放在哪里的文章。机器人模型越来越大,机载算力不够跟。Jetson Thor 是市场上端方案,但大约只有 GB200 十分之一的 FLOPs…
机器人将迎来其独立创业 DTC 时刻:
GREG ISENBERG(@gregisenberg):我认为未来 18 个月硬件与机器人创始人数量会增长 5 倍。为什么?因为你可以从设计到制造租赁每一步:设计——Astra 以人的方式驱动 Blender、FreeCAD 与 KiCad,得到可编辑几何…
Tracks
这很史诗:我没买到十月底悉尼 Bicep 演出的票,如果你知道有多余的告诉我。这套现场很美。
本文由 RecodeX 编译自 Own the Harness, Rent the Model(作者:Jax),首发于 SandHill.io #302 推荐阅读。译文仅供学习交流,观点不代表本站立场,版权归原作者所有。
