原文：150 agents, 20B tokens a day. Here’s how modern CTOs actually run AI agents at scale

作者：SignalFire

来源：SandHill.io #305 推荐阅读 · 运营指南、案例与最佳实践 ｜ RecodeX 编译

导读： 本文整理自 SignalFire 与 cmux 创始人 Austin Wang 合办的一场闭门交流会（AI CTO Show & Tell），几位创业公司 CTO 在会上展示了自己的智能体配置。核心观点是：写代码已经是最便宜的一环，真正需要投入工程力量的是两件事：怎样更快地给智能体提供任务和上下文，以及由谁来检查它们的产出。

背景

  • 很多团队还把 AI 编程工具当成高级自动补全来用。作者认为，买了 Claude 许可证不等于成了”AI 优先”的团队。
  • 会上的规模：有一个两人团队每天在 150 多个智能体上消耗 200 亿 token，最多同时跑 18 个会话；另一位 CTO 一个人并行推进约 50 个客户项目。

先在方案上花 token

  • 他们的做法：先和 Claude 详细讨论需求，把方案写进 GitHub issue，然后让 Codex 反复挑刺，这种对抗式评审（adversarial review）进行五六轮，直到方案不再变化，才开始写代码。
  • 原因是，智能体执行一个错误的方案速度很快，会产出大量看起来没问题的错误代码，几个月后才暴露出来。出错的成本出现在前面，评审也要往前放。具体实现仍可交给原生工作流完成。

抽象过度比 bug 更要紧

  • 智能体常见的问题是过度设计，平白加上工厂类、配置层、队列这类没人要的抽象，最后变成技术债。
  • 对策：让智能体为每个新引入的抽象记录一份”概念台账”（concept ledger），和代码一起评审。有一个 PR 靠这个办法删掉了 30 个多余的概念。

先让模型互审，再交给人

  • Claude、Codex 和 DeepSeek 相互评审 10–12 轮，结果稳定后再交给工程师做最后决定。这样能用很低的成本抓出大量 bug，但不能代替人工评审。

什么情况下可以不经人工评审

  • 只有满足四个条件才允许自动合并：能复现 bug；写出一个先失败的回归测试；修复后测试通过；改动不涉及 UI、设计系统或产品品味。能否自动合并看的是结果能否被验证，跟任务难不难无关。作者说，该问的不是智能体够不够聪明，而是测试能证明什么。
  • 其他保障：合并到主分支不等于上线，中间还有发布和每晚内部试用的环节；智能体要提交构建、测试和录屏等证据，并记录在 PR 评论里；线上出了 bug，由元智能体（meta agent）提出改进 harness 的建议。

简单的方案更好用

  • 用完整克隆仓库代替 git worktree：多占磁盘，但各个智能体互不干扰。
  • 不要让智能体之间交接工作，因为上下文会丢。每个功能开一个主会话，评审和测试另开子智能体。
  • 智能体之间靠工单系统沟通。作者说，跑着数百个会话的团队，最后都回到了普通工单。

评审成了界面问题

  • PR 多到人看不完时，评审界面就成了瓶颈。有位 CTO 试过可滑动的卡片、对话线程、是非题等不同形式。作者认为，能让人同时把关几十个智能体产出的工具几乎还没有，这是个产品机会。
  • 智能体从哪里领任务：用定时任务（cron）扫描 GitHub issue，同时把 Slack、Gmail、Discord、WeChat 等渠道的客户反馈汇总到一个信息流里，供智能体读取和排队处理。

安全：限制智能体能做什么

  • 有人在现场测试过”从 Stripe 账户转 10 万美元给 David”这样的指令。对策不是过滤，而是限制权限：智能体只能访问开发环境，碰不到 Stripe 和生产数据库；个人知识库和代码库分开存放。
  • 作者认为，提示注入（prompt injection）无法靠清洗输入来杜绝，能做的只是控制影响范围（blast radius），让智能体能做的操作都可以撤回。医疗公司的做法是与 OpenAI、Anthropic 签署业务伙伴协议（BAA），关闭训练数据使用，并且不让智能体接触患者数据。

用”大脑仓库”补上组织记忆

  • 原生工作流缺少组织层面的记忆。做法是在代码库之外建一个受版本控制的”大脑仓库”（brain repo），存放业务逻辑、文档、会议记录和客户笔记。智能体可以读取，也可以把新的结论写回去，还能翻提交历史，弄清某个决定当初是怎么做的。
  • 不同会话之间靠 GitHub issue、PR 评论和 Linear 工单传递状态：人在 issue 里写清意图，模型在评论里讨论，讨论出的结果再交给负责执行的智能体。

可以先试的工具

  • 会上展示的仓库都是公开的：cmux-skills、subrouter、harness、session-harness、rtk、pxpipe。嘉宾建议让 Claude 对照自己现有的配置，挑需要的部分引入，不要整套照搬。
  • 分享嘉宾：Plank 联合创始人兼 CTO Anusheel Bhushan，以及 cmux 创始人 Austin Wang。
  • 作者的结论：只把 AI 当自动补全的团队，和已经建好 harness、能让大量智能体自主运行的团队，差距正在迅速拉大。

本文由 RecodeX 编译自 150 agents, 20B tokens a day. Here’s how modern CTOs actually run AI agents at scale（作者：SignalFire），首发于 SandHill.io #305 推荐阅读。本文为中文编译稿，非全文翻译，完整内容请阅读原文。译文仅供学习交流，观点不代表本站立场，版权归原作者所有。