人工智能末日预言者欲将其全部关闭
本文信息来源：nytimes
埃利泽·尤德科夫斯基过去20年一直在警告人工智能业内人士注意危险。如今，他正向公众阐述自己的观点。
我第一次见到埃利泽·尤德科夫斯基时，他说人工智能有99.5%的概率会杀死我。
我并没有往心里去。现年46岁的尤德考斯基是机器智能研究所的创始人，该非营利组织总部位于伯克利，致力于研究先进人工智能带来的风险。
过去二十年间，他一直是硅谷版的末日预言家——不断告诫所有愿意倾听的人：构建强大的人工智能系统是个可怕的主意，终将导致灾难性后果。
这也是尤德考斯基新书《若有人造之，众生皆亡》的核心观点。这本书由他与机器智能研究所所长内特·索雷斯合著，是他们多年来向人工智能界内部人士阐述观点的精炼普及版。
他们的目标是阻止人工智能的发展——并表示这关乎人类存亡。
“如果地球上任何地方的公司或团体，使用任何类似当前技术的手段，基于任何类似目前对人工智能的理解，构建出人工超级智能，那么地球上所有地方的所有人都将灭亡，”他们写道。
这种直白的末日预言让尤德科夫斯基被某些人视为极端分子或怪人。但他是现代人工智能史上的核心人物，他对这个行业的影响不可否认。
他是最早警告强大人工智能系统风险的人之一，包括 OpenAI 的山姆·阿尔特曼和埃隆·马斯克在内的许多人工智能领袖都引用过他的观点。（阿尔特曼先生曾表示尤德科夫斯基”对决定创立 OpenAI 至关重要”，并暗示他或许值得获得诺贝尔和平奖。）
谷歌在人工智能领域的成功在一定程度上也要归功于尤德科夫斯基。2010 年，他为 DeepMind 的创始人引荐了风险投资家彼得·蒂尔 ——这家伦敦初创公司当时正致力于构建先进的人工智能系统。在谷歌于 2014 年收购该公司之前，蒂尔先生成为 DeepMind 的首位主要投资者。如今，DeepMind 的联合创始人德米斯·哈萨比斯负责监管谷歌的人工智能业务。
除了在人工智能安全领域——这个他或多或少开创的领域——的工作外，尤德考夫斯基还是理性主义运动背后的思想推手。理性主义是一场组织松散的思潮（或宗教，取决于你问谁 ），主张通过严格推理实现自我完善。如今，硅谷科技公司里充斥着年轻的理性主义者，其中许多人都是从小在网上阅读尤德考夫斯基的文章长大的。
我并非理性主义者，对人工智能的看法也比尤德科夫斯基先生温和得多。（比如，我并不认为如果有流氓国家违反国际协议研发超人智能，我们就该轰炸数据中心—— 这曾是他的主张。）但最近几个月，我多次与他深入交流，试图更好地理解他的观点。
起初，他拒绝接受个人专访。（他认为理性之人应当关注的是思想，而非个体。）最终他同意了，部分原因是他希望通过分享自己对人工智能的担忧，能够说服更多人加入到拯救人类的事业中来。
“让世界从超级人工智能的轨道上撤回，让我们不至于在不久的将来灭亡，”他告诉我，“这就是我目前对生活的全部愿望。”
从”友好人工智能”到”有尊严的死亡”
尤德考斯基先生在芝加哥一个正统犹太教家庭长大。由于长期健康问题，他在八年级后辍学，再未返校。取而代之的是，他如饥似渴地阅读科幻小说，自学计算机科学，并开始在网上与一群被称为”超人类主义者”的极端未来主义者交往。
他对奇点理论着迷——这是一个假想的未来时刻，人工智能将超越人类智慧。他渴望构建人工通用智能（AGI），即一种能完成人脑所有功能的人工智能系统。
“他当时似乎认为通用人工智能很快就会到来，”人工智能研究员本·格策尔回忆道，他在尤德科夫斯基十几岁时与之相识。”他还仿佛认定自己是地球上唯一聪明到能创造通用人工智能的人。”
2005年，尤德科夫斯基移居湾区，致力于他称为”友好人工智能”的研究——即与人类价值观一致、关心人类福祉的人工智能。
但随着知识增长，尤德科夫斯基日益确信构建友好人工智能即便不是不可能，也将极其困难。
他将这种困境归因于所谓的”正交性”理论——即智能与仁慈本质上是相互独立的特质，人工智能系统不会随着智能提升而自动变得友善。
另一个他称之为“工具性趋同”的概念——即一个强大的、目标导向的人工智能系统可能采取最终危害人类的策略。（一个著名的例子是“回形针最大化器”，这是哲学家尼克·博斯特罗姆推广的一个思想实验，基于尤德科夫斯基先生声称对其理念的误解，其中一个人工智能被要求最大化回形针生产，并为了收集更多原材料而摧毁人类。）
他还担忧所谓的”智能爆炸”——人工智能能力突然急剧飙升，可能导致超级智能迅速出现。
当时，这些不过是互联网未来主义者之间讨论的抽象理论争辩。与当今人工智能系统相去甚远的事物尚不存在，而失控超级智能的概念对严谨科学家而言更是天方夜谭，根本不值得担忧。
但随着人工智能技术不断发展，尤德科夫斯基先生的观点逐渐获得了更广泛的认同。
2010 年，他开始连载创作《哈利·波特与理性之道》，这部同人小说旨在向更多人传播理性主义的核心思想。这部作品最终膨胀到 60 余万字——比《战争与和平》还要冗长。（简洁显然不是尤德科夫斯基的强项——他的另一部作品融合了 BDSM 主题与龙与地下城同人元素，其中阐述了他的决策理论观点，篇幅竟达 180 万字之巨。）
尽管篇幅冗长，《哈利·波特与理性之道》仍成为现象级作品，让无数年轻人接触到了尤德科夫斯基的世界观。时至今日，我仍经常遇见顶尖人工智能公司的员工略带腼腆地告诉我，正是这本书启发了他们的职业选择。
一些年轻的理性主义者加入了尤德科夫斯基先生的机构 MIRI 工作。其他人则分散在科技行业，就职于 OpenAI 和谷歌等公司。但他们所做的一切并未减缓人工智能的发展速度，也未能缓解尤德科夫斯基对人工智能将变得多么强大的担忧。
2022 年，尤德科夫斯基宣布 ——有人将此解读为愚人节玩笑——他和 MIRI 将转向他称之为”有尊严的死亡”的新策略。他说，人类注定要灭亡，与其继续打一场必败之战来让人工智能与人类价值观保持一致，他正在将重点转向帮助人们接受命运。
“很明显，人类不会解决对齐问题，甚至不会很努力地尝试，甚至不会进行多少抗争，”他写道。
我们真的注定要毁灭吗？
需要说明的是，即便按照人工智能悲观主义者的标准，这些观点也过于极端。在我们最近的一次谈话中，我对尤德科夫斯基先生的主张提出了一些异议。
研究人员难道没有在机制可解释性 （研究人工智能模型内部运作的领域）等领域取得进展吗？这些进展或许能为我们提供控制强大人工智能系统的更好方法。
他回答说：”过去25年的事态发展，并未推翻这些基础理论的任何一项。就好比你跑去问一位物理学家：’最近物理学的发现有没有改变你对岩石从悬崖坠落的认识？'”
人工智能带来的更直接危害——如失业，以及人们在与聊天机器人交谈时陷入妄想漩涡 ——又该如何应对？难道他不应该至少像关注末日场景那样关注这些问题吗？
尤德科夫斯基先生承认其中一些危害确实存在，但对那些认为他应该更关注这些问题的想法嗤之以鼻。
“这就好比说，首次构想出核武器背后链式反应的利奥·西拉德，本该把所有时间和精力都用来担忧’镭姑娘’目前的伤害。”这些年轻女性在20世纪20年代的工厂里为手表表盘涂漆时遭受了辐射中毒。
他是否支持任何人工智能公司？有哪些方法不太可能导致我们的毁灭？
“在一群疯狂冲向灾难的疯癫科学家中，每一个都应该被关停，OpenAI 的管理层明显比其他人更糟，而 Anthropic 的一些员工则明显比其他人更优秀，”他说。“这些都没什么区别，法律应该对他们一视同仁。”
那么人工智能能带来的好处呢？停止人工智能的研发是否也意味着延缓疾病治疗方法的发现、让学生失去 AI 辅导等益处？
“我们完全承认这些积极影响，”他回答道，”没错，这些技术确实能成为出色的辅导工具。没错，它们在药物研发领域肯定大有用处。但这些值得我们以灭绝地球上所有生命为代价吗？显然不。”
“人类似乎更有可能因行动不足而非过度干预而灭亡，”他说。“我们的社会拒绝讨论一个威胁所有地球生命的危机，仅仅因为担心他人可能断章取义地曲解言论并做出愚蠢行为——这将是人类走向灭绝的一种愚蠢方式。”
最后一战
即使在拥护者中，尤德考斯基先生也是个争议人物。他傲慢尖刻，部分追随者希望他能成为更圆滑的发言人。他还需要适应为主流读者写作，而非面向那些愿意研读数千页晦涩术语的理性主义群体。
“他完成了全书300%的写作量，”合著者索尔斯先生调侃道，“而我则贡献了负200%。”
为了新书巡回宣传，他改换了形象。曾经拉比般长度的胡须被剃短，标志性的金色高顶礼帽也换成了一顶低调的报童帽。（谈及新帽子时，他干巴巴地说：”这是观察者反馈的结果。”）
在他新书发售前的几个月，一位粉丝建议他将自费出版的奇幻情色小说从亚马逊下架，以免吓跑潜在读者。（他照做了，但向我抱怨道：”按我的标准，这本书其实连露骨都算不上。”）
2023年，他开始与心理咨询师格雷塔·杜勒巴交往，并搬到了远离湾区科技圈的华盛顿州。在朋友眼中，现在的他更快乐了，对人类存续放弃希望的倾向也减弱了。
就连他谈论末日的方式也发生了变化。他曾用数学般的精确，信心十足地预言超级人工智能何时会被开发出来。但如今他回避这类预测游戏。
“这种对时间线的痴迷是怎么回事?”他问道，“人们以前像交换星座一样交换时间线，而现在他们又像过去交换时间线那样交换着全体人类死亡的概率。如果这个概率相当大，而你又不清楚何时会发生，那就面对它。别再编造这些数字了。”
我并不认同尤德科夫斯基先生论点中那些较为极端的部分。我不认为人工智能对齐是无解的难题，相比于《终结者》式的机器接管，我更担忧的是 AI 以更平凡的方式将我们引向灾难。我的末日概率(pdoom)——一种基于直觉、粗略衡量 AI 灾难可能性的指标——徘徊在 5%到 10%之间，相比之下我只能算个温和的保守派。
我也认为，通过国际条约和对人工智能芯片实施核武器级别的管控来阻止人工智能发展——正如尤德科夫斯基和索雷斯先生所主张的那样——基本上没有可能。特朗普政府决心加速人工智能进展而非放缓步伐，在华盛顿，“末日论者”已成为贬义词 。
即便换作其他白宫执政团队，每天仍有数亿人使用 ChatGPT 等人工智能产品，且未见明显末日降临的迹象。在没有明显灾难的情况下，人工智能的效益显得如此突出，而风险又过于抽象，此刻按下终止键绝非易事。
但我同样清楚，尤德科夫斯基和索雷斯先生对人工智能风险的思考远比大多数人更长久，且仍有充分理由对此担忧。首先，人工智能公司仍未能真正理解大语言模型的运作原理，也不知如何控制其行为。
他们这种末日预言在当下并不受欢迎。但在这个充斥着“最大化效益、最小化风险”之类温吞说辞的世界里，或许他们开诚布公的态度值得些许肯定。
“如果我们能达成一项有效的国际条约来关闭人工智能，而这本书对此有所贡献，我会认为这本书是成功的，”尤德科夫斯基先生告诉我。”除此之外的任何结果，都不过是在通往死亡之路上的一点微不足道的安慰奖罢了。”
