那些永远无法转化为行动的想法

“许多观察家认为，那个长期以来一直难以实现的人类水平智能目标——有时也被称作‘人工通用智能’——已经近在咫尺。然而，与领域外的乐观态度截然不同，众多一线人工智能研究人员则认为，要想打造出能够完成人类乃至老鼠这类更为简单动物所能做的一切任务的人工系统，还必须取得重大突破。”——通过神经人工智能推动下一代人工智能的发展

几周前，我与亚当·马布尔斯通进行了交谈，探讨了从大脑中值得提取哪些信息。大脑学习子系统的权重会在一个人的一生中不断调整，且仅适用于该大脑本身。亚当认为真正值得研究的是大脑的连接结构：即内嵌在结构之中的架构与奖励机制。

在我们的交谈之后，亚当向我推荐了另外几位正在研究生物学知识如何为人工智能发展提供借鉴的人。最近我与其中三位进行了交流：肖恩·埃斯科拉，他是一名计算神经科学家，曾共同创立了 Herophilus 平台（后被无性向公司 Genentech 收购）以及机器人公司 Fauna（后被 Amazon 收购），同时还是 Protocol Labs 的风险投资合伙人；丹·韦特莫尔，他在生物信号与硬件领域深耕了大约十五年，曾任职于被 Meta 收购的肌电手环公司 CTRL-labs；还有汤姆·格里菲斯，他是一名认知科学家，同时也是普林斯顿大学人工智能实验室的主任。

在 2023 年发表于《自然-通讯》上的一篇题为《通过神经人工智能推动下一代人工智能的发展》的论文中，肖恩、亚当及其合作者们提出，若要加速人工智能领域的进展，我们就必须投入资金开展神经人工智能方面的基础研究。“从历史上看，许多重要的人工智能突破，比如卷积型人工神经网络和强化学习，都源自神经科学领域的启发。神经科学依然能够为人工智能发展提供指导……但这些指导往往基于数十年前的研究成果。如今，人工智能与神经科学之间的这种交叉融合已远不如过去频繁，这无疑是一种错失的机会。”

在与 Sean、Dan 以及 Tom 的交谈中，我们探讨了更有效的跨领域融合方式，以及这种融合将为该领域带来怎样的影响。正如 Sean 所说：“通过借鉴生物智能，我们有许多潜在的方法可以打造出更优秀的人工智能。”

大脑并非一种归纳偏见

在认知科学与人工智能领域，有一个广泛应用的框架认为，任何信息处理系统都可以从三个不同的分析层面来理解。计算神经科学家大卫·马尔在 1982 年出版的《视觉》一书中提出了这些分析层面：

1. 计算层面，即系统所解决的抽象问题及其理想解。

2. 算法层面，即用于近似求解该问题的表示方法与算法。

3. 实现层面，即那些表征形式与算法是如何在现实中被具体落地的。

在《大型语言模型的分析层次》一文中，汤姆及其实验室的成员们认为，认知科学中发展出的方法有助于理解大型语言模型。“同样的三个分析层次也可用于研究大型语言模型，重点关注这些系统是如何由其功能、它们似乎找到的解决方案，以及这些解决方案在底层人工神经网络中的权重和单元表现形式所决定的。”

在我们的交谈中，肖恩进一步阐述了这一观点，他描述了神经科学为人工智能提供归纳偏见的四种并行层级，这些层级从对人工智能的干扰程度最低到最高依次排列：

1. 表征方法，即要求模型以类似大脑的方式对信息进行内部表征。在四种方法中，它在某种程度上是最简单的。所需数据为神经活动，且与现有的 Transformer 架构兼容，未来即便出现替代方案也应依然适用。

2. 算法领域则致力于开发基于生物学原理的新学习规则。所需的数据可能包括神经活动数据及/或连接组数据。

3. 架构层面则是指从脑连接图谱中衍生出的新电路结构，用以替代变换器。变换器几乎是我们所构建的一切系统的核心，但它与大脑的电路结构并无真正的相似之处，仅大致具备注意力机制和神经元这类功能而已。实际上，变换器中的任何元素都并非源自大脑的宏观或微观结构。

4. 这种计算基础架构将是类神经形态的或受生物硬件启发的硬件，能够以神经元的方式来进行计算。正如肖恩所说，这已经处于技术发展的最末端阶段，在那里“我们不得不彻底抛弃现有的所有体系，从零开始构建”。

这些技术是根据它们在多大程度上保留了现有 AI 的成果而进行排序的。“沿着这个层级结构往下看，”肖恩说道，“就能发现其发展路径是从那些与基于 GPU 的 Transformer 架构所构成的现有 LLM 主导地位完全兼容的技术，一直到‘我们要彻底抛弃整个现有体系，从零开始’的做法。”换言之，计算基础架构或许能带来最显著的效果，但这也意味着必须拆毁现代 AI 生态系统中的大部分现有基础设施。

另一方面，表征对齐是一种干扰最小的方法，也正是从这一角度出发，研究大脑的思路才变得最为有趣。它能否提升人工智能的性能，取决于神经数据是否包含其他途径无法获取的信息。肖恩、丹和汤姆认为，应当沿着这条路线展开研究。

丹提出过一个适用于所有研究阶段的警告：只有在恰当的描述层面，大脑的结构才能被有效复制。“从历史上看，这一领域面临的挑战之一，”他说，“就是针对特定的目标选择合适的抽象层次。”

类脑计算就是一个反面案例。早期的研究试图复制单个神经元的模拟行为以及它们的脉冲产生方式。丹表示，那是一种“人们过度纠结于生物学上的实现细节，而未能抽象出电路实际执行的过程”的做法。

以下内容并非主张模仿神经元，而是探讨某种特定类型的信息，以及如何在具有实际意义的层面上解读这类信息。

为何行为数据还不够

在我和 Adam 合写的文章中，我们探讨了大脑数据是否能为模型提供一些它本身无法推断出的信息。正如 Adam 所说：“有什么不同？拥有这些数据与仅拥有我们目前用于训练的关于世界的信息之间有何差异？在那些神经活动之中，是否有某些内容是我们无法从模型所看到的数据中预测出来的？”

简而言之，答案或许在于行为掩盖了大部分认知过程。Sean、Tom 以及他们的合著者 Patrick Mineault 在近期发表的论文《认知暗物质：衡量人工智能所遗漏的内容》中探讨了这一话题。Sean 举了观察他人做饭的例子：“想象有人正在为晚餐做意大利面，而你正在观察他。在烹饪过程的某个阶段，他会伸手进柜子拿出一些调味料并加入面里。他究竟是在什么时候决定这么做的？也许就在那一刻，也有可能是一小时前，甚至一周前他在超市的时候就已经做出了决定。”只有当他伸手去拿那个罐子时，这个动作才会显现出来，但决策其实可能早在之前就已完成。“行为记录的是行动本身，而非决策过程。我们看到的只是那些被选择的行为，”他说，“而非那些未被选择的行为。”

LLM 们是基于被选中的行为来接受训练的，而人类的认知过程则主要涉及对其他选项的权衡，并选择不采取那些行动。这些都是在我们采取行动之前（无论是有意识还是无意识地）会进行评估的内容。要重现人类的推理方式，就需要了解那些被舍弃的选项，而不仅仅是被选中的那个。而这些被舍弃的选项的相关数据是无法从行为数据中获取的，因为它们根本不会显现出来。神经数据则为我们提供了一种可能，让我们能够读懂其中的压缩损失信息。

并非所有场景都需要神经数据。与其试图让模型在各方面都具备类脑特性，更好的做法是找出它们表现不足的具体领域，然后从执行这些特定任务的人类身上收集数据。汤姆是一名认知科学家，致力于计算机科学与心理学之间的交叉研究。他感兴趣的是“我们用于研究人类心智的方法如何帮助我们理解这些人工智能系统”。

Sean、Dan 和 Tom 认为，只要知道模型的推理在哪些方面与人类的不同，就可以设计出专门用于识别这些差异的任务。神经数据能够填补那些已被确认为模型存在弱点的表征层面的空白。

能力与信任其实是同一个问题。

这样做的目的是让模型既具备更强的能力，又更加值得信赖。而与可靠性相关的部分则与心智理论密切相关。“我们之所以能够以陌生人的身份进行交流、建立商业关系或开展其他各类互动，是因为我们对彼此的心智有一定的认知，这让我们能够以对自身安全有利的方式行事，”肖恩解释道。“如果我们人类想要将这些智能体融入社会之中，”肖恩继续说道，“就必须确保我们对它们心智的认知是准确的。”

人们希望，如果设计出基于心智理论或合作行为的任务，就能让模型更具亲社会性。

这正是协作式人工智能研究的核心观点。在 2021 年发表于《自然》杂志的论文《协作式人工智能：机器必须学会寻找共同点》中，Allan Dafoe 及其合作者指出，心智理论是人工智能系统能够安全地与人类协作的前提，培养这一能力应当被视为首要的研究目标，而非规模扩大的附带效应。

此外，那种评分很高但推理方式却很奇怪的模型也属于监督学习问题——很难预测其表现，出问题时也难以及时发现。但如果能让系统以更接近人类的方式进行推理，那么它得出答案的思路或许就能成为我们能够理解的路径。

缺失的思维痕迹

我们构建人工智能时几乎完全依赖那些被选中的行为表现，因为我们认为只有真正重要的内容才会体现为行为输出。但要是并非如此呢？如果真正的决策过程发生在更早的阶段，而在行为显现之前就被压缩掉了呢？如果是这样的话，那么基于输出数据训练出的模型就只能从产生这些输出的推理残余中学习。而试图了解那些未被选中的内容，正是为了能够从系统结构上被排除在外的部分中获取知识。

正如亚当所说，那个部分是否包含着 LLM 目前还无法识别的信号，是“需要通过实验来验证的问题”之一。因为如果确实存在这样的信号，它就能够教会模型进行目前还无法完成的推理，并让这种推理方式变得更容易被我们理解。

毕竟，如果人类的心智并非其各种输出的总和，那么一切值得从人类身上学习的东西也并非如此。

作者注：仅使用 LLM 进行轻度文字编辑（拼写、语法及清晰度）。内容、含义、语气和结构均未改变。