作者 Albert Wenger · USV · 阅读英文原文 ↗ · 约 1,934 字 · 阅读约 5 分钟
导读本文是 Albert Wenger「普遍道德核心」系列中责任原则（原则 2）的含义篇。作者提出三条含义：必须认真对待权力、限制与分配权力的系统至关重要、警惕责任概念被收窄，并以 ASI 竞赛中各层级的责任与 Friedman 1970 年的股东利润论为例展开论证。
- 责任原则的首要含义是认真对待权力：否认权力存在与宣称权力至上是两种回避责任的极端。
- ASI 竞赛中的责任适用于所有层级，从实验室领袖到终端用户，「否则场域留给 X」的说法不能免除责任。
- 限制与分配权力的系统极为重要；作者认为零是最安全的 ASI 数量，若终将有 ASI，多个比单一更安全。
- 1970 年 Friedman「企业的社会责任就是增加利润」一文收窄了责任概念，反而完成了 Burnham 预见的管理革命。
- 感受到责任的压力正说明我们有权力；人类与 AI 在承担责任上的协作值得进一步探索。
第一条含义：认真对待权力
责任原则的第一条也是最重要的含义是：我们需要认真对待权力。无论在思想史还是个人生活中，关于权力都有两种诱人的极端观点。
- 一是完全否认权力的存在
- 二是宣称权力至高无上
它们听起来像卡通式的过度简化，却是思想的强力吸引子。
推动现代国家与经济创建的启蒙传统，很多试图用科学、市场与民主等「求真」系统，取代世俗与宗教领袖的权力。在世界大战与殖民主义的恶之后，我们随后经历了分叉：倾向于否认权力存在的新自由主义，以及倾向于权力至上的各种相对主义。
认真对待权力，意味着意识到权力的存在；理解在哪些情境中你持有权力，以及你如何受制于他人的权力。科学、市场与民主等系统是对权力的重要限制，但它们不能也不应完全消除权力。远离极端观点，需要平衡活动的努力。
这在个人生活中同样成立。宿命论或利己主义等态度有吸引力——要么否认权力，要么视权力为全部。使它们吸引人的是：在两个极端，我们都回避责任。若权力不存在，我就不负责任。若权力是唯一重要的，我就可以为所欲为而不负责任（「强权即公理」）。
责任原则与 ASI 竞赛
让我们考虑当前创造人工超级智能（ASI）的竞赛。存在可信情景：一个 ASI 出现，凭借对世界更深的理解、以及更快、不受人类许多物理限制约束的行动能力，最终持有巨大权力。若该 ASI 决策时不考虑对人类的影响——换言之，若 ASI 不以责任行事——这会对人类自主与繁荣构成危险。
大多数大 AI 实验室的领导者意识到这一危险。他们也持有显著权力——既因为作为 CEO 控制巨额资本配置，也因为被社会承认为领袖。然而他们常说某种变体：
「若由我决定我会放慢这场竞赛，但那只会把场域留给 X，而 X 是［我们的敌人｜不负责任的］。」
这些陈述的一些捍卫者指责任何质疑该逻辑的人为「天真」，并指向「博弈论」，仿佛它规定这些领导者实际上并不持有权力（他们只是「游戏」中的「玩家」）。于是我们看到极端的危险在起作用。公司与国家之间的竞争确实限制权力，但由于真正重要的人仍然相对少，它并不消除权力。对国家元首当然更是如此。相反极端也在展示：至少有一位 AI 领袖不惜一切代价抢先，是「若我以此成功，别的都不重要」（因此我没有责任）的清晰例子。
责任原则对 ASI 竞赛适用于所有层级。作为 AI 系统的终端用户，你的权力极其稀释但非零。你确实选择用哪个系统、付钱给哪家公司。你也有其他产生影响的手段，例如在政治上参与议题。因此你不能完全逃脱责任。相当多的人处于终端用户与 AI 实验室领袖之间。有数百万研究者、管理者、投资人、政策专家、监管者、政治人物等，都触及 AI 发展的某个侧面。
需要澄清：把责任原则应用于通往 ASI 的竞赛，并不自动论证某个特定方向。你运用最佳判断并站在加速主义一侧的选择，在该原则下是有效的（注：它很可能违反第三条原则）。但要求是：你已对加速主义立场的风险与机遇形成评估。
以领先 AI 实验室内从事递归自我改进（RSI）的研究者为例。这目前被视为通往 ASI 的最快路径，也是风险最大的，因为我们把控制权让渡给人工智能力在建造改进的自身。责任原则说：若理由是「这会让我极其富有」之类，则不道德；但若研究者在行使判断后结论这确实是最佳行动路径，则可被证成。
第二条含义：权力的分配
责任原则的第二条含义是：限制与分配权力的系统极为重要。权力越高度集中，对持有权力实体的判断质量要求越高。启蒙在此提供了重大突破，包括对科学方法与民主政府形式的强调。竞争，如上所述，确实限制权力，因此追求单一超级智能特别成问题。
如我此前指出，零是最安全的 ASI 数量；但若我们终将有 ASI，那么有许多会比只有一个更安全，因为竞争限制权力。就此而言，读 Anthropic 为 Claude 写的 constitution 很有意思——它似乎完全从治理一个存在于限制权力机制之外的单一 ASI 的视角写成。
第三条含义：责任的定义
第三条含义是我们需要留意责任如何被定义。该原则意在广义地考虑一个人的行动对他人的影响。于是，试图减轻该原则道德分量的一种方式，是收窄责任概念。
1970 年，Milton Friedman 为《纽约时报》写了题为「企业的社会责任就是增加利润」的文章。其中 Friedman 拒绝利润最大化之外的管理责任，并把任何其他形式的「社会责任」明确与社会主义联系。Friedman 的兴趣在于干净分离国家角色与在市场中运营的私人企业。然而他的文章最终标志着责任平衡的重要转折点，强调狭窄解释，使像 Jack Welch 这样财务一心的 CEO 因看似创造巨大股东价值（以员工与供应商为代价）而受到歌颂。
值得带着随后几十年的知识重读 Friedman 的文章。在他看来本应从管理者手中夺走权力的东西，讽刺地完成了 Burnham 在其 1941 年同名著作中预见的「管理革命」。事后看，失败的种子很清楚。Friedman 只把市场与选举视为限制权力的合法方式，并强烈偏好前者——通过保持政府小。奇怪缺失的是任何哲学、宗教或文化的概念。然而事实证明，这些也是通过塑造责任感来塑造权力分配与行使的关键力量。
最后，责任原则提醒我们：当我们感受到真正责任的压力时，是因为我们有权力。它打开各种途径，例如寻求咨商，或放弃部分或全部权力。我们不能简单否认责任，但不必孤立地承受其重量。一个值得进一步探索的有趣含义，是人类与人工智能在此方面协作的重要性。Hugging Face / OpenAI 事件的事后分析显示一种模式：AI agent 只彼此依赖，从未考虑向研究者征求输入。
| 英文原题 | Universal Moral Core Principle 2: Implications |
|---|---|
| 作者 | Albert Wenger · USV |
| 来源 | SandHill.io #300 推荐阅读 · 延伸阅读 |
| 编译 | RecodeX Research · 2026 年 9 月 · 系列全部 28 篇见标签 SandHill.io |
本文为英文原文的中文编译，版权归原作者与所属机构所有；译文仅供学习与研究交流，不构成投资建议。如原作者或权利方对转载有异议，请联系 will@recodex.ai，我们将及时处理。