关于人工智能公司及其军事使用政策的几点观察

我在 OpenAI 领导地缘政治团队约三年，之后又加入了另外两个团队，最终在 2025 年 6 月决定离职。我是一名研究员，经常被召来就军事使用政策提供“反馈”。

关于 Anthropic 与国防部（Department of War）之间的情况已有大量优质分析。但被大多忽视的是，这个故事也反映出公众对人工智能公司以及它们与国防和情报界签订的合同关系知之甚少。

周五，Axios 报道 五角大楼同意了 OpenAI 的红线。或者应该说是 OpenAI 同意了五角大楼的红线？正如我在下面进一步解释的，对于公司允许或不允许的军事用途存在重大混淆，部分原因是公司对允许用途的 公开描述本就是模糊的 。

人们通常希望这类文章有个简短结论，所以：

• 如今，前沿 AI 公司在其 AI 工具的军事使用方面并没有连贯的政策。使用政策含糊不清且经常变化，这使得公司高层能够保留“可选择性”。

• 前沿 AI 公司应当在其政策允许或禁止什么方面，对公众以及坦白说，对他们自己的员工更为直截了当。（我们所知的萨姆·奥特曼最近发给员工的 Slack 消息并不是坦诚的好例子，因为它留下了大量猜测的空间。）

作为免责声明，这些是我的观点，我仅依据公开报道。

1.

我可能并非首个指出 Anthropic 的“ 请求 ”是美国政策现状的人。美国政策规定，对半自动和全自动武器系统应施加“适当程度的人类判断”。这一政策在“Project Maven”备忘录中有所阐述，也就是国防部指令 3000.09，该指令最近一次更新于 2023 年。

（一家公司有可能利用合法获得的数据监视美国人，但鉴于我的背景，我更适合谈论人工智能与军事的整合，所以我会坚持谈我最熟悉的领域。）

这引出了一个显而易见的问题：既然在政策上看似达成一致，为什么五角大楼还会费心与 Anthropic 斗争？有几种（并非详尽的）可能性：

• 人们在相互说着不同的事情。

• Anthropic 的“不同意”被解读为对国防部权威的挑战；同意 Anthropic 的安全限制可能在未来出现分歧时给国防部带来更大问题。（而且本届政府极为关注展示强硬。）

• 对“对自主武器系统施加‘适当程度的人类判断’”的含义可能存在真正分歧。

2.

政策和法律并非孤立不变的“事物”。法律的边界是模糊的，并通过政治意识形态来过滤。在美国历史上，决策者曾重新解释并利用法律中的空隙，以允许独立法律观察者称之为明显非法的活动。尤其恶劣的历史例子包括所谓的 Bush Torture Memos，以及奥巴马政府决定在军事无人机袭击造成的附带损害统计中系统性地将某些平民排除在外。

因此，Anthropic 对其他前沿人工智能公司已接受的措辞感到犹豫是可以理解的，该措辞允许 DoW 将其人工智能模型用于“所有合法目的”。该措辞留有相当大的解释余地。

对于在实务中何谓具备充分的“人工监督”、“人在环”或“有意义的人类控制”，并没有达成共识。 这些术语在全球范围内仍然具有争议。军方仍在尝试制定新的测试与评估程序，以减少例如人机团队中过度依赖等问题。Anthropic 可能不同意将“人工监督”（广义而言）如何付诸实践的方式。

一些前沿 AI 公司员工曾问我，“合法用途”（lawful purposes）这类措辞是否足以作为防止滥用的有力屏障。答案总是视情况而定。 你必须决定这是否足够，并且在出现问题时是否信任公司高层能有效应对。

编辑：这篇文章在我看到 OpenAI 的声明关于他们与五角大楼的合作之前就已发布。公司使用的措辞是：“不得将 OpenAI 技术用于直接的自主武器系统”（斜体为我所加）。这是一种需要进一步澄清的措辞，尤其考虑到他们与 DIU 和 DAWG 在无人机群试验方面的工作。下文会有更多说明。

根据这种解读，我预期 OpenAI 会接受其模型成为自主武器系统的一部分，并会尝试为该系统内的可接受使用寻找豁免。

3.

诱人的是把 Anthropic 和其 CEO Dario Amodei 看作英雄。但现实更为复杂。

在 Dario Amodei 昨天（2 月 26 日）发布的声明中 ，他提出在某些情况下可能支持用于国防目的且无人监督的完全自主系统。如今阻止他接受的是：这些工具尚未足够可靠。

仅说明以便大家跟上：Dario/Anthropic 对使用可能嵌入 LLMs 的自主武器持开放态度，且这种态度可能比目前美国现行在案的政策更为宽松。

这并非一种道德觉悟高的立场，我希望我误解了他。至少，这意味着今天 AI 公司所做的承诺可能会根据并不显而易见的标准在明天发生改变。

（我从未见过 Dario Amodei，对他个人也无恶意，但我们能否达成共识：民主不能靠那些手头有两亿美元挥霍的 CEO 的善意维系？这不是一个可持续的解决方案。）

4.

在过去五年里，我目睹了 OpenAI 多次更新其使用政策。 当我在 2021 年首次加入公司时，曾全面禁止军事用途。到了 2024 年，这一规定发生了变化。 但新的措辞可以说在细节上非常简略。

让我们跳到近期 Bloomberg 的报道，该报道披露 OpenAI 的模型正在被用于一次无人机蜂群试验。2 月 12 日， 一位 OpenAI 发言人告诉彭博社 ，其开源模型在国防创新单位（DIU）和防御自主作战小组（DAWG）为构建无人机蜂群进行的试验中的使用，需要遵守公司的使用政策 。

事实证明，这项使用政策可以有多种解读，取决于你是否认为在致命链条中使用 AI 语音到数字工具等同于协助构建武器，或你是否认为可以将 AI 模型与其更大的武器系统隔离开来单独对待。作为公众，我们应当如何看待这样的保证？

我之所以反复强调这个案例，是因为它说明公众需要更敏锐地审视前沿人工智能公司发布的对外宣传。一个简单的做法是注意当公司声称其技术不会用于“进攻性”或“动能/运作性”目的时的说辞。2018 年，Google 在其 Project Maven 合同事件中也玩过类似的公关把戏，当时他们声称其对象检测软件是“非进攻性的”。

一种解读是，这是压制员工和公众批评的一种做法。另一种则是对战争中体现的人机协同所分散权力机制的严重误解。（它们被称为自主武器系统。 在人工智能武器系统中，最不“人工智能化”的部分就是扳机 。）

在撰写本文时，OpenAI 已经接受了战争部要求的“所有合法用途”措辞。这是否意味着他们关于无人机蜂群试验的使用政策已经因此而改变，还是并未改变？

我希望这能让你相信，公司关于军事用途的政策是易变的、可能再次改变的，并且受到各种看不见的压力影响。（你就是这些看不见压力之一。）

5.

在这一切中最大的受害者是普通民众和冲突地带的平民。LLMs 是黑匣子。出于政策原因，国防和情报机构在很大程度上也是黑匣子。由于战争迷雾和虚假信息，冲突地带同样是黑匣子。

我们理解军事人工智能在战争中影响的能力将会并且已经被技术设计和政策造成的多重不透明性严重阻碍。这到底都是一层又一层的黑箱。

我希望这场讨论也能涉及我们如何提高围绕国家安全领域人工智能使用的公共透明度。公众不必接受私营公司在生死攸关问题上设定的伦理门槛，也不必接受它们在决定如何卷入国家安全供应链方面那种拙劣的沟通。

外交政策向来对公众封闭不透明。如果 Anthropic 与 DoW 之争有什么积极意义，那就是本应在闭门会议中进行的讨论现在接受公众审视。难点在于这件事脱离新闻循环后人们是否还会继续关注。