[audio mp3="https://recodex.ai/wp-content/uploads/2025/11/2025112611283370.mp3"][/audio]
本文信息来源：dwarkesh
“这些模型在泛化能力上不知何故比人类差得多。这是一个非常根本的问题。”
伊利亚和我讨论了 SSI 的策略、预训练的问题、如何改进人工智能模型的泛化能力，以及如何确保 AGI 顺利发展。
[videopress gnzC1jXN]
在 YouTube 观看；在 Apple Podcasts 或 Spotify 收听。
时间戳
(00:25:13) – 为什么人类比模型拥有更好的泛化能力
(01:18:13) – “我们正处于一个以研究为核心的时代”
文字记录
00:00:00 – 解释模型的不稳定性
伊利亚·苏茨克维 00:00:00
你知道最疯狂的是什么吗？所有这一切都是真实的。
德瓦尔凯什·帕特尔 00:00:04
什么意思？
Ilya Sutskever 00:00:05
你不觉得吗？ 所有这些人工智能的东西，所有这些湾区……它正在发生。这难道不是科幻小说里的情节吗？
Dwarkesh Patel 00:00:14
另一件疯狂的事情是， 缓慢起飞的感觉是如此正常。我们将在人工智能领域投入 GDP 的 1%，我感觉这本应是一件大事，但现在却感觉……
伊利亚·萨茨克维尔 00:00:26
事实证明，我们很快就会习惯事物。 但它也有点抽象。这意味着什么？这意味着你在新闻中看到，某某公司宣布了某某金额。你只看到了这些。到目前为止，它还没有以任何其他方式被真正感受到。
德瓦尔凯什·帕特尔 00:00:45
我们真的应该从这里开始吗？我认为这是一个有趣的讨论。
Ilya Sutskever 00:00:47
当然。
**德瓦尔凯什·帕特尔** *00:00:48*
我认为你的观点，即从普通人的角度来看，一切都没有那么不同，即使到了奇点，也将继续如此。
伊利亚·萨茨克维尔 00:00:57
不，我不这么认为。
德瓦尔凯什·帕特尔 00:00:58
好的，有意思。
伊利亚·萨茨克维尔 00:01:00
我所说的没有感到不同的是，某某公司宣布了一笔难以理解的巨额投资。我认为没有人知道该如何处理这笔钱。
但我认为人工智能的影响将会显现。人工智能将渗透到经济的各个领域。这将受到非常强大的经济力量的推动，我认为其影响将会非常显著。
德瓦克什·帕特尔 00:01:30
你预计这种影响何时会发生？我认为这些模型似乎比它们所带来的经济影响更智能。
**伊利亚·萨茨克维尔** *00:01:38*
是的。这是目前关于模型最令人困惑的事情之一。如何调和它们在评估中表现如此出色的事实？你看看那些评估，你会觉得“这些评估相当难”。它们表现得非常好。但经济影响似乎远远落后。这很难理解，模型一方面能做这些惊人的事情，另一方面又在某些情况下重复自己两次，这怎么可能呢？
举个例子，假设你使用 vibe 编码来做某事。你到了某个地方，然后遇到了一个 bug。然后你告诉模型：“你能修复这个 bug 吗？”模型会说：“天哪，你说得太对了。我有一个 bug。让我去修复它。”然后它引入了第二个 bug。然后你告诉它：“你有了这个新的第二个 bug，”它会告诉你：“天哪，我怎么会犯这种错误？你又说对了，”然后又把第一个 bug 带回来，你可以在这两个 bug 之间来回切换。这怎么可能呢？我不确定，但这确实表明有些奇怪的事情正在发生。
我有两种可能的解释。更异想天开的解释是，也许强化学习训练让模型有点过于专一和狭隘，有点过于不自知，尽管它在某些其他方面也让它们变得自知。正因为如此，它们无法做一些基本的事情。
但还有另一种解释。以前人们做预训练时，关于用什么数据进行训练的问题已经有了答案，因为答案就是所有数据。当你进行预训练时，你需要所有数据。所以你不需要考虑是使用这种数据还是那种数据。
但当人们进行强化学习训练时，他们确实需要思考。他们会说：“好吧，我们想为这个东西进行这种强化学习训练，为那个东西进行那种强化学习训练。”据我所知，所有公司都有团队专门生产新的强化学习环境，并将其添加到训练组合中。问题是，这些环境是什么？自由度太大了。你可以生产的强化学习环境种类繁多。
你可以做一件事，我认为这是无意中发生的，那就是人们从评估中获取灵感。你会说：“嘿，我希望我们的模型发布时表现出色。我希望评估结果看起来很棒。那么，什么样的强化学习训练能帮助完成这项任务呢？”我认为这种情况确实存在，它可能解释了许多正在发生的事情。
如果将这一点与模型泛化能力不足结合起来，这可能解释我们所看到的大部分现象，即评估性能与实际世界性能之间的脱节，而我们今天甚至不明白这意味着什么。
德瓦尔凯什·帕特尔 00:05:00
我喜欢这个观点，即真正的奖励作弊是那些过于关注评估的人类研究员。
我认为有两种方式可以理解，或者说尝试思考你刚才指出的问题。一种是，如果一个模型仅仅通过在编程竞赛中变得超人，并不会自动变得更有品味，也不会在如何改进你的代码库方面做出更好的判断，那么你就应该扩展环境套件，这样你就不仅仅是在测试它在编程竞赛中拥有最佳表现。它还应该能够为 X 事物、Y 事物或 Z 事物制作出最好的应用程序。
另一个，也许这就是你所暗示的，是说，“为什么一开始在编程竞赛中成为超人并不能让你成为一个更具品味的程序员呢？”也许要做的不是不断增加环境的数量和多样性，而是找到一种方法，让你能从一个环境中学习，并提高你在其他方面的表现。
伊利亚·萨茨克维尔 00:06:08
我有一个可能有所帮助的人类类比。既然你提到了竞技编程，我们就以它为例。假设你有两名学生。其中一名学生决定要成为最优秀的竞技程序员，所以他们会为此投入一万小时的练习。他们会解决所有问题，记住所有证明技巧，并非常熟练地快速准确地实现所有算法。通过这样做，他们成为了最优秀的人之一。
第二名学生想：“哦，竞技编程很酷。”他们可能只练习了100小时，少得多，但他们也做得非常好。你认为他们中哪一个在未来的职业生涯中会表现得更好？
德瓦尔凯什·帕特尔 00:06:56
第二个。
伊利亚·萨茨克维尔 00:06:57
对。我想这基本上就是正在发生的事情。这些模型更像第一个学生，但程度更深。因为我们说，模型应该擅长竞技编程，所以我们收集了所有竞技编程问题。然后我们做一些数据增强，这样我们就有更多的竞技编程问题，然后我们用这些问题进行训练。现在你就有了一个出色的竞技程序员。
用这个类比，我觉得更直观。是的，好的，如果它训练得如此好，所有不同的算法和所有不同的证明技巧都触手可及。而且更直观的是，这种程度的准备不一定会推广到其他事情。
德瓦克什·帕特尔 00:07:39
那么，在第二个学生进行 100 小时微调之前，他们所做的事情又有什么类比呢？
伊利亚·萨茨克维尔 00:07:48
我觉得他们有那种“天赋”。那种“天赋异禀”的因素。我读本科的时候，记得有个同学就是这样跟我一起学习的，所以我知道这种人是存在的。
**德瓦克什·帕特尔** *00:08:01*
我认为将“它”与预训练所做的事情区分开来很有趣。理解你刚才所说的关于预训练中不必选择数据的一种方式是，它实际上与“一万小时练习”没有什么不同。只不过你免费获得了那一万小时的练习，因为它已经存在于预训练分布中的某个地方。但也许你是在暗示，预训练实际上并没有那么多的泛化能力。预训练中数据量很大，但它不一定比强化学习（RL）泛化得更好。
**伊利亚·萨茨克维尔** *00:08:31*
预训练的主要优势在于：A，数据量巨大；B，你无需费心思考要将哪些数据放入预训练中。它是非常自然的数据，并且其中包含了大量人们所做的事情：人们的思想以及许多特征 。它就像人们通过文本投射出的整个世界，而预训练试图利用海量数据来捕捉这一点。
预训练很难推断，因为它太难理解模型依赖预训练数据的方式了。每当模型犯错时，会不会是因为某些偶然因素没有得到预训练数据的充分支持？“预训练支持”可能是一个模糊的术语。我不知道我还能在这方面补充什么更有用的信息。我认为预训练没有人类的类比。
00:09:39 – 情感和价值函数
德瓦尔凯什·帕特尔 00:09:39
人们提出了关于预训练的人类类比。我很好奇你对它们为什么可能是错误的看法。一种是把人生命中的前 18、15 或 13 年看作是预训练，这段时间他们不一定有经济生产力，但他们正在做一些事情，让他们更好地理解世界等等。另一种是把进化看作是进行了 30 亿年的某种搜索 ，然后才产生了人类的生命实例。
我很好奇你是否认为这两种情况都类似于预训练。如果你不认为这是预训练，你会如何看待人类终身学习的模式？
Ilya Sutskever 00:10:22
我认为这两者与预训练之间存在一些相似之处，预训练试图扮演这两者的角色。但我认为也存在一些重大差异。 预训练数据量非常非常惊人。
Dwarkesh Patel 00:10:39
是的。
**伊利亚·萨茨克维尔** *00:10:40*
不知何故，人类即使在拥有极少预训练数据的情况下，经过15年学习后，他们所知甚少。但无论他们知道什么，他们似乎都了解得更深入。在那个年龄，你不会犯我们人工智能所犯的错误。
还有一件事。你可能会说，这会不会像进化一样？答案是也许。但在这种情况下，我认为进化可能确实有优势。我记得读过这样一个案例。神经科学家了解大脑的一种方式是研究大脑不同部位受损的人。有些人会出现你所能想象到的最奇怪的症状。这实际上非常非常有趣。
一个与此相关的案例浮现在我的脑海中。我读到过一个人，他因某种脑损伤，中风或事故，导致他的情感处理能力丧失。所以他不再有任何情感。他仍然能言善辩，能解决一些小谜题，在测试中他看起来一切正常。但他没有任何情感。他不感到悲伤，不感到愤怒，也不感到兴奋。他不知何故变得极度不擅长做任何决定。他需要几个小时才能决定穿哪双袜子。他会做出非常糟糕的财务决定。
这本质上说明了我们与生俱来的情感在使我们成为一个可行的智能体方面所扮演的角色是什么？回到你关于预训练的问题，也许如果你足够擅长从预训练中获取一切，你也可以得到这个。但这似乎是那种……嗯，从预训练中获取这个可能行也可能不行。
德瓦尔凯什·帕特尔 00:12:56
“那个”是什么？显然不仅仅是直接的情感。它似乎是一种近乎价值函数的东西，告诉你任何决策的最终回报应该是什么。你认为这并非隐含地来自预训练吗？
伊利亚·萨茨克维尔 00:13:15
我认为有可能。我只是说这并非百分之百确定。
Dwarkesh Patel 00:13:19
但那是什么？你如何看待情感？情感在机器学习中有什么类比？
Ilya Sutskever 00:13:26
它应该是一种价值函数之类的东西。但我认为没有很好的机器学习类比，因为目前，价值函数在人们所做的事情中并没有扮演非常突出的角色。
德瓦尔凯什·帕特尔 00:13:36
如果你愿意，可以为观众定义一下什么是价值函数。
**伊利亚·萨茨克维尔** *00:13:39*
当然，我很乐意这样做。当人们进行强化学习时，目前强化学习的进行方式是怎样的？人们如何训练这些智能体 ？你有一个神经网络 ，你给它一个问题，然后你告诉模型：“去解决它。”模型可能会采取数千、数十万次行动或思考，然后它会产生一个解决方案。这个解决方案会被评分。
然后，这个分数被用来为你的轨迹中的每一个行动提供一个训练信号。这意味着，如果你正在做的事情持续了很长时间——如果你正在训练一个需要很长时间才能解决的任务——那么在你提出建议的解决方案之前，它根本不会进行任何学习。这就是强化学习的朴素做法。这就是 o1、R1 表面上的做法。
价值函数会说：“也许我有时，但并非总是，能告诉你你做得好还是不好。”价值函数的概念在某些领域比其他领域更有用。例如，当你下棋时，如果你丢了一个棋子，我就搞砸了。你不需要下完整个棋局就知道我刚才做的事情很糟糕，因此之前发生的一切也很糟糕。
价值函数让你能够缩短等待时间，不必等到最后。假设你正在进行某种数学或编程任务，并试图探索特定的解决方案或方向。在经过大约一千步的思考后，你得出结论，这个方向没有前景。一旦你得出这个结论，你就可以在一千个时间步之前，当你决定沿着这条路走下去时，就已经获得奖励信号。你会说：“下次在类似情况下，我不应该走这条路”，这比你实际提出解决方案要早得多。
**德瓦尔凯什·帕特尔** *00:15:52*
这在 DeepSeek R1 论文中提到——轨迹空间如此之广，以至于可能很难学习从中间轨迹到价值的映射。而且考虑到，例如在编程中，你可能会有一个错误的想法，然后你会回去，然后你会改变一些东西。
伊利亚·萨茨克维尔 00:16:12
这听起来像是对深度学习如此缺乏信心。当然，这可能很难，但没有什么深度学习做不到的。我的期望是价值函数应该是有用的，我完全相信它们将来会被使用，如果现在还没有的话。
我之前提到的那个情感中枢受损的人，更多的是暗示人类的价值函数可能以某种重要的方式受到情感的调节，这种方式是进化硬编码的。也许这对于人们在世界上有效行事很重要。
**德瓦克什·帕特尔** *00:17:00*
这正是我打算问你的。关于价值函数的情绪，有一个非常有趣的地方，那就是它们在保持相当简单易懂的同时，却能拥有如此大的效用，这令人印象深刻。
**伊利亚·苏茨克维** *00:17:15*
我有两点回应。我确实同意，与我们所学和所谈论的那些事物，以及我们所谈论的那种人工智能相比，情绪相对简单。它们甚至可能简单到你可以用人类可理解的方式将其描绘出来。我认为这样做会很酷。
然而，就实用性而言，我认为存在一种复杂性与鲁棒性的权衡：复杂的事物可能非常有用，但简单的事物在各种情况下都非常有用。我们所看到的一种解释是，我们的情感主要从哺乳动物祖先进化而来，然后在我们成为人科动物时稍作调整，只是稍作调整。不过，我们确实拥有相当多的社会情感，这可能是哺乳动物所缺乏的。但它们并不复杂。正因为它们不复杂，它们才能在这个与我们过去所生活的世界截然不同的世界中为我们提供如此好的服务。
实际上，它们也会犯错。例如，我们的情绪……嗯，实际上，我不知道。饥饿算是一种情绪吗？这有争议。但我认为，例如，我们对饥饿的直观感受，在这个食物充裕的世界里，并没有成功地正确引导我们。
00:18:49 – 我们在扩展什么？
德瓦尔凯什·帕特尔 00:18:49
人们一直在谈论扩展数据、扩展参数 、扩展计算。有没有一种更通用的方式来思考扩展？还有哪些其他的扩展维度？
伊利亚·苏茨克维尔 00:19:00
这里有一个我认为可能是正确的观点。机器学习过去的工作方式是人们只是修修补补，试图获得有趣的结果。这就是过去一直在发生的事情。
然后，规模化洞察出现了。 规模化法则 、GPT-3，突然间所有人都意识到我们应该进行规模化。 这是一个语言如何影响思维的例子。“规模化”只是一个词，但它是一个如此强大的词，因为它告诉人们该做什么。他们说，“让我们尝试规模化。”所以你问，我们规模化什么？预训练是需要规模化的东西。它是一种特定的规模化配方。
预训练的重大突破在于认识到这个配方是好的。你会说，“嘿，如果你将一些计算资源和一些数据混合到一个特定大小的神经网络中，你就会得到结果。你会知道，如果你只是将配方规模化，你会做得更好。”这也很棒。公司喜欢这一点，因为它提供了一种风险极低的资源投入方式。
将资源投入到研究中要困难得多。比较一下。如果你进行研究，你需要说，“研究人员们，去研究并提出一些东西”，而不是获取更多数据，获取更多计算资源。你知道你会从预训练中得到一些东西。
确实，根据推特上一些人的说法，Gemini 似乎已经找到了一种从预训练中获取更多价值的方法 。然而，在某个时候， 预训练将耗尽数据 。数据显然是有限的。接下来该怎么办？要么进行某种强化版预训练，采用与以往不同的方法，要么进行强化学习，或者可能是其他什么。但现在计算能力很强，计算能力现在非常强大，从某种意义上说，我们又回到了研究时代。
也许可以换一种说法。从 2012 年到 2020 年，是研究时代。现在，从 2020 年到 2025 年，是规模化时代 ——也许会有一些误差，让我们给这些年份加上误差线——因为人们会说：“这太棒了。你必须进一步扩大规模。继续扩大规模。”只有一个词：规模化。
但现在规模已经如此之大。人们真的相信“哦，它已经很大了，但如果你再增加100倍，一切都会变得如此不同”吗？当然会不同。但人们真的相信只要将规模扩大100倍，一切都会发生转变吗？我不认为这是真的。所以，我们又回到了研究时代，只是有了大型计算机。
Dwarkesh Patel 00:22:06
这种说法很有趣。但我想问你刚才提出的问题。我们正在扩展什么，拥有一个“秘方”意味着什么？我猜我没有意识到在预训练中存在着一种非常清晰的关系，这种关系几乎就像物理定律一样。在数据、计算或参数与损失之间存在着幂律关系。我们应该寻求什么样的关系，以及我们应该如何思考这个新“秘方”可能是什么样子？
Ilya Sutskever 00:22:38
我们已经见证了从一种扩展到另一种扩展的转变，从预训练到强化学习。现在人们正在扩展强化学习。根据人们在推特上所说，他们现在在强化学习上花费的计算量比在预训练上还要多，因为强化学习实际上会消耗相当多的计算资源。你进行非常长的试运行 ，所以生成这些试运行需要大量的计算。然后每次试运行获得的学习量相对较少，所以你确实可以花费大量的计算。
我甚至不会称之为扩展。我会说，“嘿，你在做什么？你正在做的事情是你所能做的最有效率的事情吗？你能找到一种更有效率地利用计算资源的方法吗？”我们之前讨论过价值函数的问题。也许一旦人们擅长使用价值函数，他们就会更有效地利用他们的资源。如果你找到一种全新的训练模型的方法，你可以说，“这是扩展还是仅仅是利用你的资源？”我认为这变得有点模糊。
从某种意义上说，当人们回到研究时代时，他们会说：“让我们试试这个、这个和这个。让我们试试那个、那个和那个。哦，看，有趣的事情正在发生。”我认为这种趋势将会回归。
Dwarkesh Patel 00:24:10
如果我们回到了研究时代，退一步讲，我们最需要思考的秘诀是什么？当你说价值函数时，人们已经在尝试当前的秘诀，但随后又有了 LLM-as-a-Judge 等等。你可以说那是一个价值函数，但听起来你心中有更基本的东西。我们是否应该重新思考预训练，而不仅仅是在这个过程的末尾添加更多步骤？
**伊利亚·萨茨克维尔** *00:24:35*
关于价值函数的讨论，我认为很有趣。我想强调的是，我认为价值函数会使强化学习更高效，我认为这会带来不同。但我认为任何你可以用价值函数做的事情，你都可以不用它来做，只是速度会慢一些。我认为最根本的问题是，这些模型的泛化能力不知何故比人类差得多。这非常明显。这似乎是一个非常根本的问题。
00:25:13 – 为什么人类比模型拥有更好的泛化能力
德瓦克什·帕特尔 00:25:13
所以症结在于：泛化。这里有两个子问题。第一个是关于样本效率 ：为什么这些模型学习所需的数据量比人类多那么多？第二个问题是，即使不考虑所需数据量，为什么教模型做我们想做的事情比教人类难那么多？对于人类，我们不一定需要可验证的奖励才能……你现在可能正在指导一群研究人员，你和他们交谈，你向他们展示你的代码，你向他们展示你的思维方式。通过这些，他们正在学习你的思维方式以及他们应该如何进行研究。
你不必为他们设定一个可验证的奖励，比如“好的，这是课程的下一部分，现在这是你课程的下一部分。哦，这次训练不稳定。”没有这种繁琐的、定制化的过程。也许这两个问题实际上在某种程度上是相关的，但我很想探讨第二个问题，它更像是持续学习 ，以及第一个问题，它感觉就像样本效率。
伊利亚·萨茨克维尔 00:26:19
你可能会想，人类样本效率的一种可能解释是进化。进化赋予了我们少量最有用的信息。对于视觉、听觉和运动等能力，我认为进化确实赋予了我们很多。
例如，人类的灵巧性远远超过……我的意思是，如果让机器人在模拟中进行大量训练，它们也能变得灵巧。但在现实世界中训练机器人像人一样快速掌握一项新技能，这似乎遥不可及。在这里你可以说，“哦，是的，运动。我们所有的祖先都需要出色的运动能力，比如松鼠。所以对于运动，也许我们有一些不可思议的先验知识。”
你也可以对视觉提出同样的论点。我相信 Yann LeCun 曾指出，孩子们在练习 10 小时后就能学会开车，这是事实。但我们的视力非常好。至少对我来说，我记得我五岁的时候。那时我对汽车非常着迷。我很确定我五岁时对汽车的识别能力已经足以开车了。你五岁时看不到那么多数据。你大部分时间都待在父母家里，所以你的数据多样性非常低。
但你可能会说那也是进化。但在语言、数学和编程方面，可能就不是了。
**德瓦克什·帕特尔** *00:28:00*
它看起来仍然比模型更好。显然，模型在语言、数学和编码方面比普通人更出色。但它们在学习方面比普通人更出色吗？
**伊利亚·萨茨克维尔** *00:28:09*
哦，是的。哦，是的，绝对是。我本来想说的是，语言、数学和编码——尤其是数学和编码——表明，让人擅长学习的因素可能不是一个复杂的先验知识，而是一些更基本的东西。
**德瓦尔凯什·帕特尔** *00:28:29*
我不太明白。为什么会这样呢？
**伊利亚·萨茨克维尔** *00:28:32*
所以，考虑一种人们表现出高度可靠性的技能。如果这种技能对我们的祖先来说在数百万年、数亿年间都非常有用，你可能会认为人类之所以擅长它，是因为进化，因为我们有一个先验，一个以某种非常不明显的方式编码的进化先验，它以某种方式使我们如此擅长它。
但是，如果人们在一个直到最近才真正存在的领域中表现出卓越的能力、可靠性、鲁棒性和学习能力，那么这更多地表明人们可能只是拥有更好的机器学习，仅此而已。
德瓦尔凯什·帕特尔 00:29:29
我们应该如何思考那是什么？它的机器学习类比是什么？它有几个有趣的地方。它需要的样本更少。它更偏向无监督学习。一个孩子学习开车……孩子不会学习开车。一个青少年学习如何开车，并不是完全获得一些预先构建的、可验证的奖励。它来自于他们与机器和环境的互动。它需要的样本少得多。它似乎更偏向无监督学习。它似乎更鲁棒？
伊利亚·萨茨克维尔 00:30:07
强大得多。人类的韧性确实令人震惊。
德瓦尔凯什·帕特尔 00:30:12
你有没有一个统一的思考方式，来解释为什么所有这些事情会同时发生？有什么机器学习的类比可以实现这样的事情？
伊利亚·萨茨克维尔 00:30:24
你一直在问的一个问题是，青少年司机如何在没有外部老师的情况下自我纠正并从经验中学习？答案是他们有自己的价值函数。他们有一种普遍的感知，顺便说一句，这种感知在人类中也极其稳健。无论人类的价值函数是什么，除了少数关于成瘾的例外，它实际上都非常非常稳健。
所以对于像青少年学习驾驶这样的事情，他们开始驾驶，他们立刻就对自己的驾驶方式、驾驶得有多糟糕、有多不自信有了一种感觉。然后他们会看到，“好吧。”然后，当然，任何青少年的学习速度都非常快。10小时后，你就可以上路了。
德瓦尔凯什·帕特尔 00:31:17
人类似乎有一些解决方案，但我很好奇他们是如何做到的，以及为什么会如此困难？我们需要如何重新构想我们训练模型的方式，才能使这样的事情成为可能？
Ilya Sutskever 00:31:27
这是一个很好的问题，我对此有很多看法。但不幸的是，我们生活在一个并非所有机器学习想法都能自由讨论的世界，而这正是其中之一。可能有一种方法可以做到。我认为这是可以做到的。人们是这样的事实，我认为这证明了它是可以做到的。
不过，可能还有另一个障碍，那就是人类神经元可能比我们想象的进行更多的计算。如果这是真的，并且如果这扮演了重要角色，那么事情可能会更困难。但无论如何，我确实认为这指向了某种机器学习原理的存在，我对此有自己的看法。但不幸的是，情况使得很难详细讨论。
Dwarkesh Patel 00:32:28
伊利亚，没人听这个播客。
00:35:45 – 直击超智能
德瓦尔凯什·帕特尔 00:35:45
我很好奇。如果你说我们回到了研究时代，你从2012年到2020年都在那里。如果我们回到研究时代，现在的氛围会是怎样的？
例如，即使在 AlexNet 之后，用于运行实验的计算量持续增加，前沿系统的规模也持续扩大。你认为现在这个研究时代仍然需要大量的计算吗？你认为它需要回到档案中阅读旧论文吗？
您曾在谷歌、OpenAI 和斯坦福等机构工作，那时研究氛围更浓厚？我们应该期待社区出现哪些变化？
Ilya Sutskever 00:36:38
规模化时代的一个结果是，规模化吸走了房间里所有的空气。正因为规模化吸走了房间里所有的空气，每个人都开始做同样的事情。我们到了这样一个地步：公司数量远远多于创意。实际上，关于这一点，硅谷有句俗话，说创意不值钱，执行力才是一切。很多人都这么说，这也有道理。但后来我在推特上看到有人说：“如果创意这么不值钱，为什么没人有任何创意呢？”我觉得这也是事实。
如果你从瓶颈的角度来思考研究进展，会发现有几个瓶颈。其中之一是创意，另一个是你将创意变为现实的能力，这可能是计算能力，也可能是工程能力。如果你回到上世纪90年代，比如说，那时人们有一些相当不错的创意，如果他们有更大的计算机，也许他们就能证明他们的创意是可行的。但他们做不到，所以他们只能进行非常非常小的演示，而这并不能说服任何人。所以瓶颈是计算能力。
然后，在规模化时代，算力大幅增长。当然，需要多少算力是个问题，但算力是巨大的。算力已经足够大，以至于你不需要那么多额外的算力来证明某个想法。我给你打个比方。AlexNet 是在两块 GPU 上构建的。那是它所使用的全部算力。Transformer 是在 8 到 64 块 GPU 上构建的。2017 年，没有任何一篇 Transformer 论文的实验使用了超过 64 块 GPU，那相当于今天的两块 GPU 吧？ResNet，对吧？你可以说 o1 推理 并不是世界上算力最密集的东西。
所以对于研究来说，你肯定需要一定量的算力，但你是否需要有史以来最大的算力来进行研究，这远非显而易见。你可能会争辩说，我认为这是真的，如果你想构建绝对最好的系统，那么拥有更多的算力会有帮助。特别是如果每个人都在同一个范式内，那么算力就成为主要的区别因素之一。
Dwarkesh Patel 00:39:41
我问你历史，因为你当时确实在那里。我不确定到底发生了什么。听起来，当时有可能使用最少的算力来发展这些想法。但 Transformer 并没有立即出名。它之所以成为每个人都开始做的事情，然后开始在其基础上进行实验和构建，是因为它在越来越高的算力水平下得到了验证。
Ilya Sutskever 00:40:06
没错。
Dwarkesh Patel 00:40:07
如果你们在 SSI 有 50 个不同的想法，你们怎么知道哪个是下一个 Transformer，哪个是脆弱的，而没有其他前沿实验室所拥有的那种计算能力呢？
翻译为简体中文： Ilya Sutskever 00:40:22
我可以对此发表评论。简单的评论是，你提到了 SSI。具体来说，对我们而言，SSI 用于研究的计算量其实并不少。我想解释一下原因。简单的数学可以解释为什么我们拥有的计算量对于研究来说比人们想象的要多。我来解释一下。
SSI 已经筹集了 30 亿美元 ，这在任何绝对意义上都是一笔巨款。但你可能会说，“看看其他公司筹集了更多资金。”但他们的大部分计算都用于推理 。这些大数字，这些大笔贷款，都是专门用于推理的。这是第一点。第二点，如果你想拥有一个进行推理的产品，你需要一支庞大的工程师和销售人员团队。很多研究需要致力于生产各种与产品相关的功能。所以，当你看看实际剩下用于研究的部分时，差异就变得小得多了。
另一点是，如果你正在做一些不同的事情，你真的需要绝对最大的规模来证明它吗？我根本不认为这是真的。我认为在我们的案例中，我们有足够的计算能力来证明，说服我们自己和任何其他人，我们正在做的事情是正确的。
**德瓦尔凯什·帕特尔** *00:42:02*
有公开估计称，像 OpenAI 这样的公司，仅在实验方面，每年就花费大约 50-60 亿美元。这还不包括他们在推理等方面花费的金额。所以看起来他们每年在研究实验上的花费，比你们获得的总资金还要多。
**伊利亚·萨茨克维尔** *00:42:22*
我认为这取决于你如何利用这些资金。这取决于你如何利用这些资金。在他们和其他公司的情况下，训练计算的需求要大得多。有更多不同的工作流，有不同的模式，有更多的事情。所以它变得碎片化了。
**德瓦克什·帕特尔** *00:42:44*
SSI 将如何盈利？
**伊利亚·萨茨克维尔** *00:42:46*
我对这个问题的回答是这样的。目前，我们只专注于研究，然后这个问题的答案会自行揭晓。我认为会有很多可能的答案。
德瓦克什·帕特尔 00:43:01
SSI 的计划仍然是直奔超智能吗？
伊利亚·萨茨克维尔 00:43:04
也许吧。我认为这有其优点。我认为这有很多优点，因为不受日常市场竞争的影响是非常好的。但我认为有两个原因可能会导致我们改变计划。一个是务实的，如果时间线最终很长，这有可能。其次，我认为最优秀、最强大的 AI 能够影响世界，这具有很大的价值。我认为这是一件非常有价值的事情。
**德瓦克什·帕特尔** *00:43:48*
那么，为什么你们默认的计划是直接实现超智能呢？因为听起来 OpenAI、Anthropic 以及所有其他公司，他们的明确想法是：“看，我们有越来越弱的智能，公众可以逐渐适应并做好准备。”为什么直接构建超智能可能更好呢？
**伊利亚·萨茨克维尔** *00:44:08*
我将阐述支持和反对的理由。支持的理由是，人们在市场中面临的挑战之一是他们必须参与“老鼠赛跑”。“老鼠赛跑”非常困难，因为它让你面临需要做出的艰难权衡。说“我们将自己与这一切隔离开来，只专注于研究，只有当我们准备好时才出来，而不是提前”听起来很美好。但反驳的观点也同样有效，这些是相互对立的力量。反驳的观点是：“嘿，让世界看到强大的 AI 是有益的。让世界看到强大的 AI 是有益的，因为这是你唯一能传达它的方式。”
**德瓦尔凯什·帕特尔** *00:44:57*
嗯，我想不仅仅是你能传达这个想法——
Ilya Sutskever 00:45:00
沟通人工智能，而不是想法。沟通人工智能。
德瓦尔凯什·帕特尔 00:45:04
你说的“与 AI 沟通”是什么意思？
Ilya Sutskever 00:45:06
假设你写了一篇关于人工智能的文章，文章说：“人工智能将是这样，人工智能将是那样，它将是这样。”你读完后说：“好吧，这是一篇有趣的文章。”现在假设你看到一个人工智能正在做这个，一个人工智能正在做那个。这是无法比拟的。基本上，我认为人工智能在公众中存在有很大的好处，这将是我们不那么直接的原因。
Dwarkesh Patel 00:45:37
我想甚至不是那样，但我确实认为这是其中一个重要部分。另一个重要的事情是，我想不出人类工程和研究中还有哪个学科，其最终产品主要是通过思考如何使其安全而变得更安全，而不是像为什么今天的飞机每英里坠毁率比几十年前低那么多。为什么现在在 Linux 中发现一个错误比几十年前困难得多？我认为这主要是因为这些系统被部署到世界各地。你发现了故障，这些故障得到了纠正，系统变得更加健壮。
我不知道为什么 AGI 和超人智能会有什么不同，尤其是考虑到——我希望我们能谈到这一点——超智能的危害似乎不仅仅是出现一个恶意的回形针制造者 。但这是一个非常强大的东西，我们甚至不知道如何概念化人们如何与它互动，人们会用它做什么。逐步接触它似乎是更好地分散其影响并帮助人们为此做好准备的方法。
00:46:47 – SSI 的模型将从部署中学习
伊利亚·萨茨克维尔 00:46:47
嗯，我认为在这一点上，即使在直接实现的情况下，你仍然会逐步发布它，我就是这样设想的。渐进主义将是任何计划的固有组成部分。这只是一个问题，你首先要推出什么。这是第一点。
第二，我相信你比其他人更倡导持续学习 ，我确实认为这是一件重要且正确的事情。原因如下。我再给你举一个语言如何影响思维的例子。在这种情况下，我认为有两个词塑造了每个人的思维。第一个词：AGI。第二个词：预训练。让我来解释一下。
AGI 这个词，它为什么存在？它是一个非常特殊的词。它为什么存在？有原因的。在我看来，AGI 这个词之所以存在，与其说它是一个非常重要、本质的智能终极状态的描述符，不如说它是对一个已存在的不同术语的反应，这个术语就是窄 AI。如果你回顾游戏和 AI、 跳棋 AI、 国际象棋 AI、 电脑游戏 AI 的古老历史，每个人都会说，看看这种狭隘的智能。当然， 国际象棋 AI 可以击败卡斯帕罗夫 ，但它做不了其他任何事情。它是如此狭隘，是人工狭隘智能。因此，作为对此的反应，有些人说，这不好。它太狭隘了。我们需要的是通用 AI，一种可以做所有事情的 AI。这个术语获得了很大的关注。
第二个获得广泛关注的是预训练，特别是预训练的方法。我认为现在人们做强化学习的方式可能正在消除预训练的概念印记。但预训练有这个特性。你进行更多的预训练，模型在所有方面都会变得更好，或多或少是均匀的。通用人工智能。预训练带来了通用人工智能。
但 AGI 和预训练发生的事情是，在某种程度上它们超出了目标。如果你思考“AGI”这个词，尤其是在预训练的背景下，你会意识到人类并不是一个 AGI。是的，肯定有一个技能基础，但人类缺乏大量的知识。相反，我们依赖于持续学习。
那么当你思考“好吧，假设我们成功了，我们生产出某种安全的superintelligence.”时，问题是，你如何定义它？它会在持续学习曲线的哪个位置？
我培养了一个超级智能的15岁孩子，他非常渴望学习。他们什么都不懂，但他们是优秀的学生，非常渴望学习。你可以去当程序员，你可以去当医生，去学习。所以你可以想象，部署本身将涉及某种学习试错期。这是一个过程，而不是你直接投放一个成品。
**德瓦克什·帕特尔** *00:50:45*
我明白了。你是在暗示，你所指的超级智能并不是一个已经完成的、知道如何胜任经济中所有工作的头脑。因为，比如说，最初的 OpenAI 章程或类似文件对 AGI 的定义是，它能胜任人类能做的所有工作，所有事情。你提出的反而是这样一个头脑：它能学会胜任所有工作，而这就是superintelligence.。
Ilya Sutskever 00:51:15
是的。
Dwarkesh Patel 00:51:16
但一旦你有了学习算法，它就会像人类劳动者加入组织一样，被部署到世界中。
Ilya Sutskever 00:51:25
没错。
德瓦克什·帕特尔 00:51:26
这两种情况似乎可能发生其中一种，也可能两种都不会发生。第一种情况是，这种超高效的学习算法变得超人化，在机器学习研究任务上变得和您一样出色，甚至可能更好。结果是，算法本身变得越来越超人化。
另一种情况是，即使第一种情况没有发生，如果您有一个单一模型——这正是您的愿景——该模型的实例被部署到经济的各个领域，从事不同的工作，学习如何完成这些工作，在工作中不断学习，掌握人类能够掌握的所有技能，但同时掌握所有这些技能，然后整合它们的学习成果，您基本上就拥有了一个功能上变得超级智能的模型，即使没有软件上的任何递归自我改进。因为您现在拥有一个可以完成经济中所有工作的模型，而人类无法以同样的方式融合我们的思想。那么，您是否期望从广泛部署中产生某种智能爆炸？
Ilya Sutskever 00:52:30
我认为我们很可能会实现经济的快速增长。我认为，随着广泛部署，你可以提出两个相互矛盾的论点。其一是，一旦你确实达到一个点，拥有一个能够快速学习做事的 AI，并且拥有许多这样的 AI，那么就会有一种强大的力量将它们部署到经济中，除非会有某种阻止它的法规，顺便说一句，这可能确实会发生。
但我认为，在一段时间内实现非常快速的经济增长，从广泛部署的角度来看，这是非常有可能的。问题是它会多快。我认为这很难知道，因为一方面你拥有这个非常高效的“工人”。另一方面，世界真的很大，有很多东西，而这些东西以不同的速度移动。但另一方面，现在 AI 可以……所以我认为非常快速的经济增长是可能的。我们会看到各种各样的事情，比如不同国家有不同的规则，而那些规则更友好的国家，经济增长会更快。这很难预测。
00:55:07 – 对齐
**德瓦克什·帕特尔** *00:55:07*
在我看来，这是一种非常不稳定的局面。从理论上讲，我们知道这是可能实现的。如果你有一个像人类一样擅长学习的东西，但它能够融合其大脑——以人类无法融合的方式融合不同的实例——这似乎在物理上应该是可行的。人类是可能存在的，数字计算机也是可能存在的。你只需要将这两者结合起来就能产生这种东西。
这种东西似乎也极其强大。经济增长是一种说法。一个戴森球就是巨大的经济增长。但另一种说法是，你可能会在很短的时间内……你在 SSI 雇佣员工，六个月后，他们可能就能产生净生产力。人类学习得非常快，而这个东西变得越来越聪明，速度也很快。你如何看待让这一切顺利进行？为什么 SSI 能够很好地做到这一点？SSI 在这方面的计划是什么，这基本上就是我想问的。
伊利亚·萨茨克维尔 00:56:10
我的想法一直在变化，其中之一是我现在更重视人工智能的增量部署和提前部署。人工智能的一个非常困难之处在于，我们谈论的是尚未存在的系统，很难想象它们。
我认为正在发生的事情之一是，在实践中，很难感受到通用人工智能（AGI）。很难感受到通用人工智能。我们可以谈论它，但想象一下，当你年老体弱时，谈论变老是什么感觉。你可以进行对话，你可以尝试想象，但这很难，你会回到现实，因为事实并非如此。我认为围绕通用人工智能及其未来力量的许多问题源于它很难想象。未来的通用人工智能将会不同。它将是强大的。事实上，整个问题，人工智能和通用人工智能的问题是什么？整个问题就是力量。整个问题就是力量。
当力量真正强大时，会发生什么？在过去一年中，我改变了想法，这种想法的改变——我稍微保留一下，可能会反向传播到我们公司的计划中——是，如果很难想象，你该怎么办？你必须展示它。你必须展示它。我坚持认为，大多数从事人工智能工作的人也无法想象它，因为它与人们日常所见的事物太不相同了。
我确实坚持，我预测会发生一件事。这是一个预测。我坚持认为，随着人工智能变得越来越强大，人们会改变他们的行为。我们将看到各种前所未有的事情，这些事情现在还没有发生。我举一些例子。我认为，无论好坏，前沿公司将在发生的事情中扮演非常重要的角色，政府也将如此。我认为你会看到的那种事情，你已经看到其开端，是那些激烈的竞争对手公司开始在人工智能安全方面进行合作。你可能已经看到 OpenAI 和 Anthropic 迈出了第一小步 ，但那以前是不存在的。这是我在大约三年前的一次演讲中预测会发生的事情。我还坚持认为，随着人工智能继续变得越来越强大，越来越明显地强大，政府和公众也会有做些什么的愿望。我认为这是一种非常重要的力量，即展示人工智能。
这是第一点。第二点，好的，人工智能正在被构建。需要做些什么？我坚持认为会发生的一件事是，现在，从事人工智能工作的人，我坚持认为人工智能因为它的错误而感觉不到强大。我确实认为，在某个时候，人工智能会开始真正感觉强大。我认为当这种情况发生时，我们将看到所有人工智能公司处理安全的方式发生巨大变化。它们会变得更加偏执。我将此作为一个预测，我们将看到它发生。我们会看看我是否正确。但我认为这会发生，因为它们会看到人工智能变得越来越强大。我坚持认为，现在发生的一切，都是因为人们看待今天的人工智能，很难想象未来的人工智能。
还有第三件事需要发生。我正在以更广泛的术语来谈论它，而不仅仅是从 SSI 的角度，因为你问我关于我们公司的事情。问题是，公司应该渴望构建什么？它们应该渴望构建什么？有一个所有人都被困住的巨大想法，那就是自我改进的人工智能。为什么会发生？因为想法比公司少。但我坚持认为有更好的东西可以构建，而且我认为每个人都会想要那个。
这种人工智能能够稳健地与关注有感知生命的需求保持一致。我认为，尤其值得一提的是，构建一个关注有感知生命的人工智能，可能比构建一个只关注人类生命的人工智能更容易，因为人工智能本身也将是有感知的。如果你考虑一下诸如镜像神经元以及人类对动物的同情心 （你可能会说这种同情心不够强烈，但它确实存在），我认为这是一种涌现的特性，源于我们用模拟自身的相同回路来模拟他人，因为这是最有效率的做法。
德瓦克什·帕特尔 01:02:06
所以，即使你让人工智能关心有感知生命——而且我并不确定，如果你解决了对齐问题 ，这是否就是你应该努力去做的——大多数有感知生命仍然会是人工智能。最终会有数万亿，甚至数千万亿的人工智能。人类将只占有感知生命的一小部分。因此，如果目标是人类对未来文明的某种控制，我并不确定这是否是最佳标准。
伊利亚·苏茨克维尔 01:02:37
确实如此。这可能不是最好的标准。我想说两点。第一，关爱有感知生命，我认为这有其价值。应该予以考虑。我认为，如果能有一个简短的清单，列出公司在这种情况下可以使用的想法，那将会有所帮助。这是第二点。
第三，我认为，如果最强大的超级智能的力量能够以某种方式受到限制，那将会有实质性的帮助，因为它能解决许多这些担忧。至于如何做到这一点，我不太确定，但我认为当你谈论真正、真正强大的系统时，这会非常有帮助。
Dwarkesh Patel 01:03:35
在我们继续讨论对齐问题之前，我想深入探讨一下。顶层还有多少空间？你如何看待超级智能？你认为，利用这种学习效率的理念，它可能只是在学习新技能或新知识方面极其迅速？它是否拥有更大的策略库？中心是否存在一个单一的、更强大或更大的“它”？如果是这样，你是否认为它与人类文明的其余部分相比会是神一般的存在，还是它只是感觉像另一个智能体，或者另一群智能体？
**伊利亚·萨茨克维尔** *01:04:10*
这是一个不同的人有不同直觉的领域。我认为它肯定会非常强大。我认为最有可能发生的情况是，多个这样的 AI 将大致同时被创造出来。我认为，如果集群足够大——比如如果集群真的有大陆那么大——那东西确实会非常强大。如果你真的有一个大陆大小的集群，那些 AI 会非常强大。我能告诉你的是，如果你谈论的是极其强大的 AI，真正强大到令人震惊的 AI，如果它们能以某种方式受到约束，或者有某种协议或类似的东西，那会很好。
对超级智能的担忧是什么？如何解释这种担忧？如果你想象一个足够强大的系统，真正足够强大的系统——你可以说你需要做一些明智的事情，比如以一种非常专注的方式关爱有感知力的生命——我们可能不喜欢结果。这才是真正的症结所在。
顺便说一句，也许答案是你不要以通常的意义构建一个强化学习（RL）代理。我会指出几点。我认为人类是半强化学习代理。我们追求奖励，然后情绪或其他东西让我们对奖励感到厌倦，我们就会追求不同的奖励。市场是一种非常短视的代理。进化也是如此。进化在某些方面非常智能，但在其他方面却非常愚蠢。政府被设计成三个部分之间永无止境的斗争，这会产生影响。所以我认为就是这样的事情。
让这场讨论变得困难的另一个原因是，我们正在谈论的是不存在的系统，我们不知道如何构建它们。这是另一件事，实际上也是我的信念。我认为人们现在所做的事情会取得一定进展，然后逐渐衰落。它会继续改进，但它也不会是“它”。我们不知道如何构建“它”，而很多事情都取决于对可靠泛化的理解。
我再说一件事。关于什么导致对齐困难，你可以说的一点是，你学习人类价值观的能力是脆弱的。然后你优化它们的能力也是脆弱的。你实际上学会了优化它们。难道你不能说，“这些不都是不可靠泛化的例子吗？”为什么人类似乎泛化得更好？如果泛化能力强得多会怎样？在这种情况下会发生什么？会有什么影响？但这些问题目前仍然无法回答。
**德瓦克什·帕特尔** *01:07:21*
我们该如何思考“AI 发展顺利”会是什么样子？你已经描绘了 AI 可能如何演变。我们将拥有这些持续学习的智能体。AI 将非常强大。也许会有许多不同的 AI。你如何看待许多大陆规模的计算智能体四处运行？这有多危险？我们如何降低这种危险？我们又如何以一种能够保护平衡的方式做到这一点，即在存在未对齐的 AI 和不良行为者的情况下？
**伊利亚·萨茨克维尔** *01:07:58*
这就是我喜欢“关爱有情生命的 AI”的一个原因。我们可以争论它到底是好是坏。但如果最初的 N 个这类引人注目的系统确实关爱、热爱人类或类似的东西，关爱有情生命，那么显然这也需要实现。这需要实现。所以，如果最初的 N 个系统实现了这一点，那么我认为它会发展顺利，至少在相当长一段时间内如此。
然后是关于长期会发生什么的问题。你如何实现长期均衡？我认为，对此也有一个答案。我不喜欢这个答案，但它需要被考虑。
从长远来看，你可能会说，“好吧，如果在一个存在强大人工智能的世界里，短期内，你可以说你拥有普遍的高收入。你拥有普遍的高收入，我们都过得很好。”但佛教徒怎么说？“变化是唯一不变的。”事物会改变。存在某种政府、政治结构，它会改变，因为这些东西都有保质期。一些新的政府事物出现并发挥作用，然后一段时间后它停止运作。这是我们一直看到发生的事情。
所以我认为对于长期均衡，一种方法是你可以说也许每个人都会有一个人工智能来为他们服务，这很好。如果这可以无限期地维持下去，那是真的。但这样做的缺点是，人工智能会为这个人赚钱，并在政治领域为他们的需求发声，然后也许会写一份小报告说，“好的，这是我所做的，这是情况，”然后这个人说，“太棒了，继续保持。”但这个人不再是参与者。那么你可以说这是一个岌岌可危的境地。
我先声明我不喜欢这个解决方案，但它确实是一个解决方案。这个解决方案是如果人们通过某种 Neuralink++ 成为部分人工智能。因为这样做的结果是，现在人工智能理解了一些东西，我们也理解了，因为现在这种理解是整体传输的。所以现在如果人工智能处于某种情况，你自己也完全参与到那个情况中。我认为这是实现均衡的答案。
德瓦克什·帕特尔 01:10:47
我不知道，数百万年前——在许多情况下是数十亿年前——在完全不同的环境中发展起来的情感，至今仍在如此强烈地指导着我们的行为，这是否可以算作对齐成功的一个例子。
为了阐明我的意思——我不知道称之为价值函数还是奖励函数更准确——但是脑干有一个指令，它说：“与更成功的人交配。” 大脑皮层是理解在现代语境中成功意味着什么的部分。但是脑干能够对齐大脑皮层并说：“无论你认为成功是什么——我没有那么聪明去理解那是什么——你仍然会追求这个指令。”
伊利亚·苏茨克维 01:11:36
我认为有一个更普遍的观点。我认为进化是如何编码高级欲望的，这实际上非常神秘。我们很容易理解进化如何赋予我们对闻起来美味的食物的渴望，因为气味是一种化学物质，所以只需追求那种化学物质即可。很容易想象进化会这样做。
但进化也赋予了我们所有这些社会欲望。我们非常在意被社会积极看待。我们关心保持良好的社会地位。所有这些我们拥有的社会直觉，我强烈认为它们是根深蒂固的。我不知道进化是如何做到的，因为它是一个在大脑中被表示的高级概念。
假设你关心某种社会事物，它不是像气味那样的低级信号。它不是某种有传感器的东西。大脑需要进行大量的处理，将大量信息碎片拼凑起来，才能理解社会上正在发生什么。不知何故，进化说：“这就是你应该关心的。”它是怎么做到的？
它也做得很快。所有这些我们关心的复杂社会事物，我认为它们是最近才进化的。进化很容易地将这种高级欲望硬编码进去。我不知道有什么好的假设能解释它是如何做到的。我有一些想法，但我都不满意。
**德瓦尔凯什·帕特尔** *01:13:26*
尤其令人印象深刻的是，这种欲望是你一生中习得的，这很合理，因为你的大脑是智能的。你能够习得智能的欲望，这也很合理。也许这不是你的观点，但一种理解方式是，欲望是内置在基因组中的，而基因组并不智能。但你却能够以某种方式描述这个特征。甚至不清楚你如何定义这个特征，然后你可以把它构建到基因中。
**伊利亚·萨茨克维尔** *01:13:55*
本质上，或者我换个说法。如果你考虑基因组可用的工具，它会说：“好的，这是一个构建大脑的配方。”你可以说：“这是一个将多巴胺神经元连接到嗅觉传感器的配方。”如果这种气味是一种很好的气味，你就会想吃它。
我可以想象基因组会这样做。我只是说这更难想象。更难想象基因组会说你应该关心你的整个大脑，你大脑的一大部分所做的某种复杂计算。我只是在说这个。我可以告诉你一个关于它如何实现的猜测。让我提出一个猜测，然后我会解释为什么这个猜测可能是错误的。
所以大脑有脑区。我们有大脑皮层 。它有所有这些脑区。大脑皮层是均匀的，但脑区和大脑皮层中的神经元主要与它们的邻居交流。这解释了为什么会有脑区。因为如果你想做某种语音处理 ，所有处理语音的神经元都需要相互交流。而且由于神经元在很大程度上只能与附近的邻居交流，所以它必须是一个区域。
所有区域在不同人之间大多位于相同的位置。所以也许进化在字面上硬编码了大脑上的一个位置。所以它说：“哦，当大脑的 GPS 坐标是某个位置时，当它被激活时，那就是你应该关心的。”也许这就是进化所做的，因为那将是进化工具包中的一部分。
Dwarkesh Patel 01:15:35
是的，尽管有一些例子，例如天生失明的人，他们大脑皮层的那个区域会被另一种感官所占据。我不知道，但我会很惊讶，如果那些需要视觉信号的欲望或奖励功能，对于那些大脑皮层不同区域被征用的人来说不再起作用。
例如，如果你不再有视力，你是否还能感觉到“我希望周围的人喜欢我”等等，这些通常也有视觉线索。
Ilya Sutskever 01:16:12
我完全同意这一点。我认为对于这个理论，甚至有一个更强有力的反驳。有些人小时候切除了半个大脑，但他们仍然拥有所有的大脑区域。但它们都以某种方式转移到只有一个半球，这表明大脑区域的位置不是固定的，所以那个理论是不正确的。
如果这是真的，那会很酷，但它不是。所以我认为这是一个谜。但这是一个有趣的谜。事实是，不知何故，进化使我们能够非常、非常可靠地关心社会事务。即使是那些患有各种奇怪精神疾病、缺陷和情感问题的人，也倾向于关心这些。
01:18:13 – “我们正处于一个以研究为核心的时代”
Dwarkesh Patel 01:18:13
SSI 计划做些什么不同的事情？大概你们的计划是，当这个时代到来时，成为前沿公司之一。大概你创办 SSI 是因为你觉得，“我想我有一种方法可以安全地做到这一点，而其他公司没有。”这种不同之处是什么？
Ilya Sutskever 01:18:36
我的看法是，有一些想法我认为很有前景，我想去研究它们，看看它们是否真的有前景。就这么简单。这是一次尝试。如果这些想法——我们讨论过的关于理解泛化的这些想法——最终被证明是正确的，那么我认为我们将拥有一些有价值的东西。
它们会被证明是正确的吗？我们正在进行研究。我们是一家彻彻底底的“研究时代”公司。我们正在取得进展。事实上，在过去一年里我们取得了相当不错的进展，但我们需要继续取得更多进展，进行更多研究。我就是这样看待它的。我把它看作是发出声音和参与其中的一次尝试。
**德瓦克什·帕特尔** *01:19:29*
您的联合创始人兼前首席执行官最近去了 Meta，人们会问：“如果当时有很多突破正在发生，那似乎不太可能。”我想知道您会如何回应。
Ilya Sutskever 01:19:45
为此，我只想提醒一些可能已被遗忘的事实。我认为这些提供背景的事实解释了当时的情况。当时我们正在以 320 亿美元的估值进行融资，然后 Meta 介入并提出收购我们 ，我拒绝了。但我以前的联合创始人某种程度上同意了。结果，他也获得了大量的近期流动性，他是 SSI 唯一加入 Meta 的人。
Dwarkesh Patel 01:20:27
听起来 SSI 的计划是成为一家处于前沿的公司，在人类历史上这个非常重要的时期，当你们拥有超人智能时。你们对如何让超人智能发展良好有这些想法。但其他公司也会尝试他们自己的想法。SSI 在让超智能发展良好方面的方法有什么独特之处？
**伊利亚·萨茨克维尔** *01:20:49*
区分 SSI 的主要因素是其技术方法。我们有不同的技术方法，我认为这种方法是值得的，我们正在努力追求它。
我坚持认为，最终策略会趋于一致。我认为策略会趋于一致，在某个时候，随着人工智能变得越来越强大，每个人都会或多或少地清楚应该采取什么策略。它应该像这样：你需要找到某种方式相互交流，你希望你的第一个真正的超级智能人工智能是与人类价值观对齐的，并且以某种方式关爱有感知能力的生命，关爱人类，民主，或者这些的某种组合。
我认为这是每个人都应该努力实现的目标。这也是 SSI 正在努力实现的目标。我认为，如果不是现在，所有其他公司也会意识到他们正在为同一个目标而努力。 我们拭目以待。我认为随着人工智能变得越来越强大，世界将真正改变。我认为事情会变得非常不同，人们的行为方式也会非常不同。
德瓦尔凯什·帕特尔 01:22:14
说到预测，你对你所描述的这个系统有什么预测？它能像人类一样学习，并因此变得超人。
伊利亚·萨茨克维尔 01:22:26
我认为大概是5到20。
德瓦克什·帕特尔 01:22:28
5到20年？
伊利亚·萨茨克维尔 01:22:29
嗯。
**德瓦尔凯什·帕特尔** *01:22:30*
我只是想展开一下你可能看到的未来世界。就像，我们还有几年时间，这些其他公司会继续采用当前的方法，然后停滞不前。“停滞不前”在这里的意思是它们的收入不会超过几千亿美元？你认为停滞不前意味着什么？
**伊利亚·萨茨克维尔** *01:22:49*
我认为停滞不前会看起来……所有不同的公司都会非常相似。它可能像这样。我不确定，因为我认为即使停滞不前，这些公司也能创造惊人的收入。也许不是利润，因为它们需要努力将彼此区分开来，但收入肯定会很高。
**德瓦克什·帕特尔** *01:23:20*
但你的模型中有些地方暗示，当正确的解决方案出现时，所有公司之间将趋于一致。我很好奇你为什么会这么认为。
**伊利亚·萨茨克维尔** *01:23:32*
我更多地是在谈论它们在对齐策略上的趋同。我认为技术方法上的最终趋同也可能会发生，但我指的是对齐策略上的趋同。究竟应该怎么做？
德瓦克什·帕特尔 01:23:46
我只是想更好地理解您是如何看待未来发展的。目前，我们有这些不同的公司，您认为他们的方法会继续产生收入，但无法达到这种类人学习者的水平。所以现在我们有这些不同的公司分支。我们有您，我们有 Thinking Machines，还有许多其他实验室。也许其中一个能找到正确的方法。但他们产品的发布会向其他人清楚地展示如何做到这一点。
伊利亚·萨茨克维尔 01:24:09
我认为如何做到这一点不会很清楚，但会清楚地表明不同的事情是可能的，这就是信息。人们会尝试弄清楚它是如何运作的。不过，我确实认为这里没有提到、没有讨论的一点是，随着人工智能能力的每一次提升，我认为在做事方式上会发生某种变化，但我不知道具体是哪些变化。我认为这会很重要，但我无法确切说明那是什么。
德瓦克什·帕特尔 01:24:49
按理说，拥有这种模型的公司应该能获得所有这些收益，因为它们拥有在世界上积累技能和知识的模型。为什么会认为这些收益会广泛分配，而不是最终只归于率先实现这种持续学习循环的模型公司呢？
伊利亚·萨茨克维尔 01:25:13
我认为会发生以下情况。首先，让我们看看过去的 AI 是如何发展的。一家公司取得了一项进展，然后另一家公司争相效仿，在一段时间后也生产出类似的产品，它们开始在市场上竞争并压低价格。所以我认为从市场角度来看，类似的事情也会发生。
我们正在谈论美好的世界，顺便说一句。什么是美好的世界？它就是我们拥有这些强大的人类般的学习者，它们也是……顺便说一句，也许还有另一件事我们没有讨论过关于超智能 AI 的规格，我认为值得考虑。那就是你让它变得狭窄，它可以同时有用和狭窄。你可以拥有许多狭窄的超智能 AI。
但是假设你有很多这样的公司，并且其中一家公司从中获得了大量利润。然后另一家公司进来并开始竞争。竞争的方式将通过专业化来实现。竞争喜欢专业化。你在市场中看到它，你在进化中也看到它。你将会有许多不同的利基市场，你将会有许多不同的公司占据不同的利基市场。在这个世界中，我们可能会说一家人工智能公司在某个非常复杂的经济活动领域确实相当出色，而另一家公司在另一个领域表现更好。第三家公司则非常擅长诉讼。
德瓦尔凯什·帕特尔 01:27:18
这难道不与类人学习所暗示的相矛盾吗？它能学习……
伊利亚·萨茨克维尔 01:27:21
它可以，但你已经积累了学习。你投入了大量精力。你花费了大量的计算资源，才在这方面变得非常非常出色，非常非常惊人。其他人也花费了大量的计算资源和经验，才在其他方面变得非常出色。你投入了大量的人类学习才达到这个水平，但现在你已经达到了一个高点，其他人会说：“看，我不想从头开始学习你所学的东西。”
德瓦克什·帕特尔 01:27:48
我想这需要许多不同的公司同时开始研究类人持续学习智能体，这样他们就可以在不同的分支中开始他们不同的树搜索。但是，如果一家公司首先获得了那个智能体，或者首先获得了那个学习器，那么看起来……嗯，如果你只考虑经济中的每一个工作，让一个实例学习每一个工作对一家公司来说似乎是可行的。
伊利亚·苏茨克维 01:28:19
这是一个有力的论点。我强烈的直觉是事情不会这样发展。这个论点说它会这样发展，但我强烈的直觉是它不会这样发展。理论上，理论与实践之间没有区别。但在实践中，却有区别。我认为这会是其中之一。
德瓦尔凯什·帕特尔 01:28:41
许多人对递归式自我改进的模型，都明确地指出我们将在服务器中拥有数百万个伊利亚，他们会提出不同的想法，这将导致超智能的快速出现。
你对你正在做的事情的可并行化程度有什么直觉吗？复制伊利亚能带来什么好处？
Ilya Sutskever 01:29:02
我不知道。我认为肯定会有收益递减，因为你想要的是思想不同而不是相同的人。如果真有我的克隆体，我不确定你能获得多少增量价值。你想要的是思想不同的人。
01:29:23 – 自我博弈和多智能体
Dwarkesh Patel 01:29:23
为什么如果你观察不同的模型，即使是由完全不同的公司在可能不重叠的数据集上训练的，LLMs 之间却惊人地相似？
Ilya Sutskever 01:29:38
也许数据集并没有看起来那么不重叠。
Dwarkesh Patel 01:29:41
但从某种意义上说，即使个体人类的生产力可能低于未来的 AI，人类团队比 AI 团队拥有更多多样性这一事实可能仍有其意义。我们如何才能在 AI 中激发有意义的多样性？我认为仅仅提高“温度”只会导致胡言乱语。你想要的是更像不同科学家有不同偏见或不同想法的那种多样性。你如何在 AI 智能体中获得这种多样性？
伊利亚·萨茨克维尔 01:30:06
所以我认为，之所以没有多样性，是因为预训练。所有预训练模型都大同小异，因为它们都在相同的数据上进行预训练。现在，强化学习和后训练是差异开始出现的地方，因为不同的人会提出不同的强化学习训练方法。
德瓦尔凯什·帕特尔 01:30:26
我听你过去曾暗示 ， 自博弈是一种获取数据或让智能体与同等智能的智能体匹配以启动学习的方法。我们应该如何看待为什么目前还没有公开的提案表明这种方法适用于 LLMs？
伊利亚·萨茨克维尔 01:30:49
我想说有两点。我之所以认为自博弈很有趣，是因为它提供了一种仅使用计算资源而非数据来创建模型的方法。如果你认为数据是最终的瓶颈，那么仅使用计算资源就非常有趣。这就是它有趣的原因。
问题在于，自博弈，至少在过去的做法中——当智能体以某种方式相互竞争时——它只适用于培养某些技能。它太狭隘了。它只适用于谈判、冲突、某些社交技能、策略制定等。如果你关心这些技能，那么自博弈将会有用。
实际上，我认为自博弈确实找到了归宿，只是形式不同。所以像辩论、 证明者-验证者这样的东西，你会有某种 LLM-as-a-Judge，它也会被激励去发现你工作中的错误。你可以说这不完全是自博弈，但我相信这是一种人们正在做的相关的对抗性设置。
自博弈实际上是更普遍的智能体之间竞争的一个特例。竞争的自然反应是尝试变得与众不同。所以如果你把多个智能体放在一起，告诉它们：“你们都需要解决某个问题，你是一个智能体，并且你在检查其他所有智能体的工作，”它们会说：“好吧，如果它们已经采用了这种方法，我不确定我是否应该继续。我应该追求一些差异化的东西。”所以我认为这样的事情也可以为方法的多样性创造激励。
01:32:42 – 研究品味
Dwarkesh Patel 01:32:42
最后一个问题：什么是研究品味？您显然是世界上在人工智能研究方面被认为品味最好的人。从 AlexNet 到 GPT-3 等等，您是深度学习史上最重大事件的共同作者。它是什么，您如何描述您是如何提出这些想法的？
**伊利亚·萨茨克维尔** *01:33:14*
我可以就我自己而言谈谈这个问题。我认为不同的人有不同的做法。引导我个人的一个因素是关于人工智能应该是什么样子的美学，通过思考人类是什么样子的，但要正确地思考。很容易错误地思考人类是什么样子的，但正确地思考人类是什么样子的意味着什么呢？
我给你举一些例子。人工神经元的想法直接受到大脑的启发，这是一个很棒的想法。为什么？因为你说大脑有所有这些不同的器官，它有褶皱，但褶皱可能不重要。我们为什么认为神经元很重要？因为它们有很多。这感觉很对，所以你需要神经元。你需要一些局部学习规则来改变神经元之间的连接。大脑这样做似乎是合理的。
分布式表示的概念。大脑对经验做出反应，因此我们的神经网络应该从经验中学习。大脑从经验中学习，神经网络也应该从经验中学习。你总会问自己，某件事是根本性的还是非根本性的？事情应该如何发展。
我认为这在很大程度上一直指引着我，从多个角度思考，并寻找近乎美感、美感和简洁。丑陋，没有丑陋的容身之地。它是美感、简洁、优雅，以及来自大脑的正确灵感。所有这些都必须同时存在。它们存在的越多，你对自上而下的信念就越有信心。
自上而下的信念是在实验结果与你相悖时支撑你的东西。因为如果你一直相信数据，那么有时你可能做的是正确的事情，但存在一个错误。但你不知道存在一个错误。你怎么能判断存在一个错误呢？你怎么知道是应该继续调试还是得出结论方向错了？这就是自上而下的。你可以说事情必须是这样。类似这样的东西必须奏效，因此我们必须继续前进。这就是自上而下的，它基于这种多方面的美感和大脑的启发。
德瓦尔凯什·帕特尔 01:35:31
好的，我们就到这里。
伊利亚·萨茨克维尔 01:35:33
非常感谢。
德瓦尔凯什·帕特尔 01:35:34
伊利亚，非常感谢你。
伊利亚·萨茨克维尔 01:35:36
好的。谢谢。
德瓦尔凯什·帕特尔 01:35:37
太棒了。
Ilya Sutskever 01:35:38
是的，我很喜欢。
Dwarkesh Patel 01:35:39
是的，我也是。