论人性与人类——作者：Michael Dempsey

关于构建世界并将人类置于末位的一些思考

来源：https://mhdempsey.substack.com/p/on-humanity-and-human-beings

我们离AGI还有多远？当前的模型是否已经在训练下一个？所有模型都会收敛吗？能源从哪里来？还有哪些瓶颈？中国真的落后吗？我们已经处于战争状态了吗？癌症真的被攻克了吗？人形机器人是真实的吗？这是泡沫吗？我们会将实验室国有化吗？我们能做到吗？大学会怎样？全民基本收入？我该卖掉我的AI持仓吗？我该买一个末日避难所吗？我该直接卖给实验室吗？为什么我睡不着？我还能保住工作吗？我该告诉我的孩子学什么？我该生孩子吗？你上一次进行不谈论这些的对话是什么时候？这是一种宗教吗？我们真的认为我们在建造一个新神吗？我会没事吗？我们中会有人没事吗？
“我们正接近一个关键问题。现代科学的公开目标是建立一种严格客观、超然的知识……但假设隐性知识构成了所有知识不可或缺的一部分，那么消除所有知识中个人因素的理想，实际上将旨在摧毁所有知识。精确科学的理想将被证明是根本性的误导，并可能成为毁灭性谬误的根源。”

• Michael Polanyi，《隐性维度》

有一种特定的焦虑、精神错乱和压力，从互联网、旧金山、作为工具和行业的技术、新闻、社会中散发出来。

它在我东西海岸的圈子里以两种形式出现。

第一种，来自外部世界的精神错乱和焦虑。世界变化比以往任何时候都快，AGI即将到来，重新定位社会、价值和我们的生活，达到极度的不稳定。

第二种，来自内部的精神错乱。一种虚无主义的感觉，让人们质疑意义何在，我们是否在社会上像一列失控的货运列车，以及是否有办法从过去20年社会变革的深渊中爬出来。

因此，我们经历了一种非常特殊的自我保护主义。

我们寻找方法来度过内心和外部状态的厄运循环，抓住那些乌托邦的微光，这些乌托邦往好了说是岌岌可危，往坏了说是天真幼稚。我们告诉自己，这次不一样，宇宙正在这个精确的时刻密谋将人类从我们据称之前所处的轨道上撞下来。

为了应对这一点，我们要么 aggressively 地回避明天，要么 obsessively 地关注明天。我们要么停止关心，要么构建足够精细的理论未来来平息今天的思绪。

主要是逃避主义。这种方法一直有效，直到一个真实的人走进模型并打破它。

世界优先思维

“我们未来很可能能够构建一个与人类能力大致相同的计算机系统。我们是否想要这样做则是另一回事。这可能是一个非常复杂的系统，包含许多不能很好地协同工作的部分，就像我们的大脑一样，并且很难进行微调。”

• Julian Togelius，我们解决AI问题的一些时刻的简短历史

长期以来，我一直痴迷于想象可能的未来。从很多方面来说，这是我在职业上取得任何表面成功的原因。

想象和预测未来是无穷无尽的乐趣，因为它是一门将不确定性转化为形状的复杂艺术。这项技艺奖励对可能性、激励机制以及技术和科学突破的级联效应进行梯度建模。

现在，这对整个科技界的集体意识来说极具诱惑力，他们凝视着一片黑暗的森林，其中充满了丰裕、存在主义以及天知道还有什么的阴影。具体细节过于模糊和压倒性，于是人们开始构建整洁的世界。

我开始称之为“世界优先思维”。理想的未来世界，从童年、先例艺术、当前事物、科幻小说中汲取灵感，都是为了收紧生活的波动带。你可以为人类建模担忧，而无需过于接近人类本身，为所谓的人类构建世界和条件，然后将人类塞进去。1

但诗意的现实，或者说是问题所在，是任何模型中最具波动性的东西就是人类本身。通过将他们放在最后建模，并将他们限制在事先构建好的世界里，我们从未让任何真实的人显得足够真实，以至于能在世界、我们的生活或我们认为自己想要如何生活的哲学中引发有意义的、个人的波动。

具体性的危机

“人类发展智力是为了控制自然。他征服了海洋、丛林、沙漠和疾病。但在运用这种心智力量的过程中，他有时失去了与自然的联系。自然是非理性的。它制造地震、洪水、灾难，这些我们都无法控制。”

• Anaïs Nin，《未来的小说》

当你人为地限制模型中最具波动性的东西时，你就制造了一场具体性的危机。

没有人能令人信服地阐述正在构建的世界中可能、应该或将会发生什么的具体细节，也无法说明我们如何弥合与这个世界之间的差距。2

实验室负责人自己也开始承认这一点。Dario 将“工作与意义”作为 Machines of Loving Grace 的结尾部分，承认其简短源于缺乏明确的答案，而非缺乏严肃性。Sam 在最近的采访中不那么精炼，他说我们需要停止对人性方面含糊其辞。Demis 在台上 告诉满屋子的人，我们将有哲学问题需要回答，并且需要伟大的新哲学家。

确实，对于处于这些位置的人来说，现在给出关于世界可能或应该如何改变的具体细节，除了模糊的警告“我们完蛋了，没事的”之外，几乎全是坏处。

但这些框架，无论多么真诚，仍然是承认。技术未来被极其精确地描述，涉及资本支出、规模法则和模型能力，而人类状况则被推迟到诸如意义、有用性、哲学和适应之类的陈词滥调中。

这些词语显示出对重要性的理解，但无法传达它；奇怪地让人想起 Barthes 关于写作爱情的论述：3

“一方面，这等于什么都没说；另一方面，这又说得太多：无法调整。我的表达需求在温和的小俳句（概括一个巨大的情境）和大量平庸的废话之间摇摆。对于写作来说，我既太大又太弱。”

也许我们应该回顾一下老哲学家，而不是理论上的新哲学家。

随着我继续与朋友们谈论这种挥之不去的感觉4，我被推动着阅读和重读各种哲学家，其核心是康德式的框架：我们是否将人类视为手段或目的。

这个问题令人恼火地难以逃避，因为你最终会陷入某种讨论：人类是世界为之存在的目的，还是我们只是路过，直到其他东西优化这个世界？而且我们应该（或者我应该）在乎吗？

Arendt 的《人的境况》或许有更好的方式来表达这个迂回的观点：“没有人曾经与任何活过、活着或将要活的人完全相同。”

有效利他主义和 MacAskill 的 长期主义 框架使这一点复杂化，因为它并非完全错误，甚至与 Arendt 并不矛盾，但感觉仍然不对劲。

我明白。未来的人很重要，我们应该超越自身思考。5

但存在一个阈值，在这个阈值上，“人性”成为我们浪漫化的东西，而真实的人类开始变得模糊。他们的重要性、轮廓、情感、眼睛颜色、转瞬即逝的表情和飘忽的思绪都化为虚无。

然后我们可以进一步深入其他哲学。

加速主义或许是更黑暗的抽象概念。需要明确的是，我并不反对加速。但这种意识形态的某些版本中，未来似乎比经历它的人更重要。技术进步成为核心，而人类只能应对它施加于世界的任何力量。6 被保护、补贴、娱乐、优化，甚至可能被爱，但在某种程度上仍然是事后才想到的。

Annie Dillard 在 1982 年写了一篇题为 Total Eclipse 的文章，这篇关于人性的经典之作一直让我难以忘怀。

她观看日食，不由自主地和周围所有人一起尖叫，最后来到路边的一家小餐馆，在吃早餐时想要谈论这件事，然后才能做其他事情。虽然故事是关于日食的，但这篇文章实际上是在探讨这一切背后的同一个问题：如果重大的变化只侵蚀了其中所有核心的人性，那么意义又意味着什么？

她写了我最喜欢的段落之一（也许是有史以来最喜欢的？）：

“如果你有一天向外瞥见地平线上出现一排蘑菇云，你会立刻知道，你所看到的，尽管引人注目，但本质上根本不值得评论。跑去告诉任何人也没用。尽管它意义重大，但它毫无价值。因为什么是意义？意义是对人而言的。没有人，就没有意义。这就是我要告诉你们的一切。”

我们一直在为那个地平线和那个世界建模，完美合理，却奇怪地毫无血色。

一个完整的世界。

然后，在这一切之后，才是人类。

感谢 Andy、Jess 和 Smac 提供的想法

1
几乎就像人类对世界如何出现没有选择权一样。

2
大规模失业？非自愿独身者？收入差距急剧扩大？联系危机？这些事情是有意义的，但如果没有具体性，很难在规模上感受到。

3
我知道这很随意，但请耐心听我说。

4
他们已经厌倦了，所以有了这篇文章。

5
尤其是在科技领域，人们常常既雄心勃勃，有时又惊人地短视。

6
我无法直接引用大学炸弹客的宣言，但 Ted Kaczynski 有一些思考可能会让那些说“无论如何都会发生，所以我们最好快点到达那里”的人思考。其中特别有一点：“系统不能也不应该为了满足人类需求而存在。相反，是人类行为必须被修改以适应系统的需求。这与可能假装指导技术系统的政治或社会意识形态无关。这不是资本主义的错，也不是社会主义的错。这是技术的错，因为系统不是由意识形态指导，而是由技术必要性指导……当熟练工人因技术进步而失业并不得不接受‘再培训’时，没有人问这样被推来推去是否羞辱他们。人们只是理所当然地认为每个人都必须向技术必要性低头。而且有充分的理由：如果人类需求被置于技术必要性之前，就会出现经济问题、失业、短缺或更糟的情况。我们社会中‘心理健康’的概念很大程度上是由个人行为是否符合系统需求以及是否没有表现出压力迹象来定义的。”