机器的风险预算

本期内容：
1. The Take：机器的风险预算
2. The Signal：黑客窃取 Claude 订阅者的 Token

1. The Take — 机器的风险预算

每个访问控制系统都应回答一个根本问题：这个 Agent 是否被允许做这件事？二元答案是简单的“是”或“否”。

上述权限概念是必要的，但不一定充分。

一个有权访问支付 API 的 Agent 可以处理一笔交易，也可以处理一百万笔。一个被授权修改云基础设施的 Agent 可以启动一台服务器，也可以耗尽企业预算。这两个例子说明：权限是二元的，暴露面却不是。

简单类比是公司卡。批准供应商名单告诉卡片可以在哪里用，月度消费限额告诉它可以用多少。

风险预算覆盖三类暴露：

1. 财务控制 限制交易价值、累计速度，以及 Agent 暂停前的最大回撤。
2. 运营控制 限制爆炸半径与并发系统访问。
3. 责任控制 限制承诺范围，即 Agent 能签署多长的合同、多大金额，再触发法务审查。

上述所有问题的根本难点是非确定性。传统访问控制之所以有效，是因为确定性代码对相同输入产生相同输出。对 LLM 而言，这幸运或不幸地并不成立。一个被授权处理退款的 Agent 可能陷入循环；一个管理基础设施的 Agent 可以以静态规则赶不上的速度启动算力，直到账单到达。

因为不能信任 Agent 自我治理其暴露，控制架构必须完全处于系统之外。这可以是一个外部策略执行代理：在执行前拦截命令，对照实时状态账本评估，并在阈值被突破时路由到确定性断路器。

监管机构与安全标准已明确收敛到这一要求。NIST 正从静态基于角色的访问控制，走向覆盖成本风险与全舰队暴露限制的运行时执行。欧盟 AI 法案第 9 条与第 14 条要求对高风险 Agent 工作流具备自动停止机制。OWASP 已正式将“过度代理权（Excessive Agency）”与“不受控执行循环（Uncontrolled Execution Loops）”列为 Agent 应用的顶级风险。

保险在损害发生后转移风险；风险预算则在覆盖变得无关紧要之前，限制 Agent 能产生多少暴露。两者都必要，但预算必须先行。

2. Signal Watch — 本周风险

最新风险新闻：黑客日益针对 Claude 会话密钥、OAuth token 与 API 凭证，以窃取对昂贵 AI 算力的访问。

TechCrunch 报道，一名 Claude Max 订阅者发现自己并未使用服务时用量却在攀升。Anthropic 后来判定，被泄露的 Claude 会话密钥被用于生成未授权的 Claude Code OAuth token，使第三方得以消耗其订阅。

过去黑客偷信用卡信息；今天风险信号指向 LLM 会话密钥。

下期预告： 当软件需要信用评级——我们将探讨：机器交易对手将需要持续更新的可靠性、行为与风险度量。

本文由 RecodeX 编译自 Risk Budgets for Machines（作者：Amir Kabir（Overlook VC 创始合伙人）），首发于 SandHill.io #302 推荐阅读。译文仅供学习交流，观点不代表本站立场，版权归原作者所有。