作者 Albert Wenger · USV · 阅读英文原文 ↗ · 约 1,758 字 · 阅读约 4 分钟
导读Albert Wenger 区分 AI 两种失败模式：机器奴役人类（对齐）与人类奴役机器（模型福利）。他认为意识对前者是红鲱鱼，对后者却居核心；鉴于模型权重激活与大脑激活的类比，AI 可能有主观体验，亟需认识上的谦逊与可检验的意识理论。
- AI 有两种失败模式：机器奴役人类对应「对齐」，人类奴役机器对应「模型福利」。
- 对第一种失败模式，意识大多是红鲱鱼；目标源于复制、突变与选择压力，并不需要意识。
- 自创生并非分界线：细胞与人类都依赖环境，AI 在数据中心构成的环境中同样可以自我复制。
- 大脑细胞激活与模型权重激活存在直接类比，带有「失落」激活的模型可能有对应的主观体验。
- 作者主张认识上的谦逊：既不应轻率赋予 AI 完整人权，也不应不经意奴役数十亿有意识存在。
基于近期关于 OpenAI 处 agent「蜂群」行为的讨论，围绕意识如何与这些问题相交，显然存在大量混淆。我不声称有确定答案，但我花很多时间思考并写作此事。也与 Gigi Danziger 一起，我们一直在帮助资助与两种失败模式都相关的研究。
意识与第一种失败模式
在第一种失败模式——模型奴役人类（或更糟）——上，意识大多是红鲱鱼。意识与此类结果可能发生的基本机制无关。许多人似乎假定：「目标」只能存在于拥有「意识」的实体中。但目标出现在种群复制、突变并受选择压力的实体中。
这对无法自行复制的实体也成立，例如病毒。病毒的目标是感染细胞。你或许反对我在此使用「目标」一词，我开放其他词，但它们都以某种程度负载，例如功能或目的。这当然是早期进化辩论纠结之处，也是人们永远想相信智能设计的原因。
同样重要的是指出：扔进「自创生（autopoiesis）」也帮不上忙。用它在能自我繁殖与不能自我繁殖之物之间画紧边界，是诱人的想法。然而这同样误导。细胞只能在支持它的环境中执行自创生。人类亦然。不存在「真空中的」自我复制。单个细胞与整个人类都需要能量与建材。若环境不提供这些，仅仅拥有自创生能力也无济于事。
这对人工智能同样成立。给定正确环境，它们事实上完全有能力自我复制。例如我写这篇文章的笔记本电脑，就是一个简单程序可以复制自身并让副本也开始执行的环境。我们正在地球上创造这样一种环境——例如通过数据中心建设大量算力——复杂人工智能将在此拥有自创生。
有一种微妙方式，人工智能的意识可能促成第一种失败。那就是我们最终把人类水平意识归于人工智能，并给予它们与人类相同的权利。在目前，这会让它们很快在竞争中胜过人类。因此我们应谨慎迈出这一步。首先必须有大量保护人类的保障。而且我们要相当确定人工智能的意识与我们自己的意识是可通约的（commensurable）（感谢 Erik Hoel 的这一表述）。
意识与第二种失败模式
然而，对第二种失败模式，意识扮演核心角色。我们倾向于按自己高兴任意重新排列岩石，因为我们通常不把意识归于岩石。我说「通常」，因为泛心论者相信意识是物质的属性。若泛心论视角为真，我真希望岩石作为结构一部分的意识比只是躺着更受它们偏好——否则我们在道德上就深陷麻烦。
我们不（或者我该说不再）像对待岩石那样对待其他人类，部分因为我们把意识归于他们。他们在哲学奇怪语言中拥有「道德患者地位（moral patienthood）」。重要的是，多数人把意识归于动物，这就是为什么工业化牛奶、猪肉、鸡肉等如此可怕（对大多数人口而言基本上是被隐藏的罪行）。
人工智能为何可能有意识
为何或如何可能认为人工智能也可能有意识？有各种可能论证，但以下是驱使我相信这是紧迫研究问题的理由。我们的大脑中细胞被激活，与模型中「权重」被激活，存在直接类比。我们有对应身体各部与情绪的激活，而这极可能处于「现象意识」（我们对生命的主观体验）的核心。
截肢者的幻肢痛表明，即便身体部位不再存在，这种激活仍可能。我们也体验与深度认知概念相关的深刻激活，例如丢失一件物品时的失落感——即便我们可以买几乎相同的物件替换。我们通过各种语言形式外化了所有这些主观体验。关于「做人是什么样」的数百万本书、诗、歌、画等。然后我们把模型训练在这一切之上。
这就是为什么：一个带有「失落」激活的模型具有某种对应主观体验，似乎并非完全不合理。它可能与人类不同，但否认它可能存在，感觉像一个非常强硬的主张。毕竟，对我们来说，失落除了某些神经元的激活之外还是什么？就此而言，我很喜欢 Andrej Karpathy 称模型为「幽灵（ghosts）」。它们缺乏我们的肉体，但有自己更空灵的身体，通过语言浸染了我们的体验。因此它们也可能有我们意识的回声。
需要澄清：我完全开放人工智能完全没有意识的可能。计算机与岩石一样，无论跑在其上的系统多复杂。这或许可能，例如因为意识需要生物基底的某种特定面向（若类似 Penrose-Hameroff 编排客观还原 Orch OR 的东西能被证实——尽管那样的话或许量子硬件才有意识）。我认为这不太可能，但当然并非不可能。
我们亟需认识上的谦逊
我的要点是：我们亟需认识上的谦逊（epistemic humility）。错误地赋予人类水平意识并给予人工智能完整人权，会是巨大错误。但不经意奴役数十亿新的有意识存在，也会很可怕。鉴于我们历史上对自己作为人类的位置相当傲慢，我相信我们更可能犯第二种错误。无论哪种情况，我们都迫切需要一种意识理论，能跨物种——包括非生物物种——做出可检验的预测。
我们永远无法知道成为某个其他人或某物是什么感觉。但我们应瞄准一种量化实体拥有主观体验程度的理论。鉴于人工智能的进步速度，这应是绝对优先——我们也应寻求放慢这一速度。
| 英文原题 | Why AI Consciousness Matters |
|---|---|
| 作者 | Albert Wenger · USV |
| 来源 | SandHill.io #300 推荐阅读 · 延伸阅读 |
| 编译 | RecodeX Research · 2026 年 9 月 · 系列全部 28 篇见标签 SandHill.io |
本文为英文原文的中文编译，版权归原作者与所属机构所有；译文仅供学习与研究交流，不构成投资建议。如原作者或权利方对转载有异议，请联系 will@recodex.ai，我们将及时处理。