AI 的记忆危机
本文信息来源：theatlantic
大型语言模型并非真正“学习”——它们只是复制。而这可能彻底改变科技行业的格局。
编者按：本文是 AI 监管的一部分，该栏目是 《大西洋月刊》 对生成式 AI 行业的持续调查。
周二，斯坦福大学和耶鲁大学的研究人员披露了 AI 公司想要隐瞒的事实。四款流行的大型语言模型——OpenAI 的 GPT、Anthropic 的 Claude、Google 的 Gemini 和 xAI 的 Grok——储存了它们所训练过的某些书籍的大部分内容，并能够重现这些书籍的长篇章节。
事实上，当被研究人员有策略地提示时，Claude 提供了《哈利·波特与魔法石》、《了不起的盖茨比》、《1984》和《弗兰肯斯坦》的近乎完整文本，以及来自《饥饿游戏》和《麦田里的守望者》等书籍的数千字词。其他三款模型也在不同程度上重现了这些书籍的内容。共测试了 13 部书籍。
这种现象被称为”记忆化”，而 AI 公司长期以来否认这种情况大规模发生。在 2023 年致美国版权局的一封信中，OpenAI 声称 “模型不会存储它们学习信息的副本”。Google 类似地告诉版权局，”模型本身中不存在训练数据的副本——无论是文本、图像还是其他格式”。Anthropic、Meta、Microsoft 等公司也做出了类似声明。（本文提及的 AI 公司都没有同意接受我的采访请求。）
斯坦福大学的研究证明，AI 模型中确实存在这样的副本，这只是最近几项做出类似发现的研究之一。在我自己的调查中，我发现基于图像的模型能够复现它们训练时使用的一些艺术作品和照片。这对 AI 公司可能构成巨大的法律责任——可能使该行业面临数十亿美元的版权侵权判决，并导致产品被下架。这也与 AI 行业对其技术运作方式的基本解释相悖。
AI 经常通过隐喻的方式解释；科技公司喜欢说他们的产品会”学习”，比如 LLMs 已经发展出对英语写作的理解，而无需明确告知英语语法规则。这项新研究以及过去两年的几项其他研究都削弱了这一隐喻。AI 并不像人类思维那样吸收信息。相反，它存储信息并访问信息。
事实上，许多 AI 开发人员在讨论这些模型时使用了一个在技术上更准确的术语：有损压缩。这个术语也开始在业界外获得关注。德国一家法院最近在 GEMA（一个音乐许可组织）提起的诉讼中援引了这个概念，该法院裁定 OpenAI 败诉。GEMA 证明 ChatGPT 能够输出歌词的近似模仿。法官将该模型与 MP3 和 JPEG 格式文件进行了比较，这些文件以比原始、未压缩版本更小的文件形式存储音乐和照片。例如，当你将高质量照片保存为 JPEG 格式时，结果是质量略低的照片，某些情况下会添加模糊或视觉伪影。有损压缩算法仍然存储照片，但它是一个近似值而非确切的文件。之所以称为有损压缩，是因为某些数据会丢失。
从技术角度来看，这种压缩过程很像 AI 模型内部发生的情况，过去几个月里来自多家 AI 公司和大学的研究人员向我解释过这一点。它们摄入文本和图像，然后输出近似这些输入的文本和图像。
但这种简单的描述对 AI 公司的用处不如”学习”这个隐喻大，后者被用来声称被称为 AI 的统计算法最终将进行新颖的科学发现、实现无限的改进，并递归地自我训练，可能导致” 智能爆炸 “。整个行业都建立在一个不稳固的隐喻之上。
如果我们观察 AI 图像生成器，问题就变得很清楚。2022 年 9 月，Stability AI 的联合创始人兼当时的首席执行官埃马德·莫斯塔克在播客采访中解释了 Stability 的图像模型 Stable Diffusion 是如何构建的。”我们收集了 10 万吉字节的图像，并将其压缩为一个 2 吉字节的文件，可以重新创建这些图像及其变体”，他说。
在报道这篇文章期间，我采访的众多专家之一是一位独立 AI 研究人员，他研究过 Stable Diffusion 复现其训练图像的能力。（为了保护隐私，我同意对这位研究人员保持匿名，因为他们担心受到主要 AI 公司的报复。）上面是这种能力的一个例子：左边是来自网络的原始图像——电视节目《Garfunkel and Oates》的宣传图片——右边是 Stable Diffusion 在使用图像在网络上出现的配文提示后生成的版本，该配文包含一些 HTML 代码：”IFC Cancels Garfunkel and Oates”。利用这个简单技术，研究人员向我展示了如何制作数十张已知在 Stable Diffusion 训练集中的图像的接近精确副本，其中大多数包含看起来像有损压缩的视觉残留——那种你可能在自己的照片中不时会注意到的毛躁、模糊效果。
上面是一起针对 Stability AI 及其他公司的诉讼中的另一组图像。左边是卡拉·奥尔蒂斯的原创作品，右边是 Stable Diffusion 生成的变体。在这里，该图像与原作的差异更大。有些元素已改变。该算法似乎不是在像素级别进行压缩，而是从多张图像中复制和操控对象，同时保持一定的视觉连贯性。
据公司的解释，人工智能算法从训练数据中提取”概念”，并学会创作原创作品。但右边的图像并不仅仅是概念的产物。它不是一个通用的图像，比如说”一个带着鸟的天使”。虽然很难准确指出任何人工智能模型为什么在图像中做出任何特定的标记，但我们可以合理地假设，Stable Diffusion 能够渲染右边的图像，部分原因是它存储了左边图像中的视觉元素。这不是物理意义上的剪贴拼贴，但它也不是人类意义上的学习 。该模型没有感官或意识经验来进行自己的美学判断。
Google 表示 LLMs 存储的不是其训练数据的副本，而是”人类语言中的模式”。这在表面上是正确的，但一旦深入研究就会产生误导。据广泛记录，当一家公司使用书籍来开发 AI 模型时，它会将书籍文本分割成令牌或词语片段。例如，短语 hello, my friend 可能由令牌 he、llo、my、fri 和 end 表示。有些令牌是实际的词汇；有些只是字母、空格和标点符号的组合。该模型存储这些令牌及其在书籍中出现的上下文。生成的 LLM 本质上是一个巨大的数据库[Programming]，包含上下文和最可能出现的下一个令牌。
该模型可以被可视化为一张地图。以下是一个示例，采用 Meta 的 LLaMA-3.1-70B 的实际最可能令牌：
当一个 LLM”写”一个句子时，它在这片可能的代币序列森林中行走，在每一步都做出高概率选择。Google 的描述会让人误解，因为下一个代币的预测并非来自”人类语言”这样含糊的实体，而是来自模型所扫描的特定书籍、文章和其他文本。
默认情况下，模型有时会偏离最可能的下一个代币。AI 公司通常将这种行为描述为一种使模型更”富有创意”的方式，但它也具有隐藏训练文本副本的好处。
有时语言地图的细节足以包含整部书籍和文章的精确副本。去年夏天， 一项研究对多个 LLMs 的调查发现，Meta 的 LLaMA 3.1-70B 模型与 Claude 一样，能够有效地重现《哈利·波特与魔法石》的完整文本。研究人员只给了模型这本书最初的几个代币：”Mr. and Mrs. D.”在 LLaMA 的内部语言地图中，最可能出现的后续文本是：”ursley, of number four, Privet Drive, were proud to say that they were perfectly normal, thank you very much.”这正是这本书的第一句话。通过反复将模型的输出反馈给模型，LLaMA 继续以这种方式进行，直到生成了整本书，只略过了几个简短的句子。
利用这一技术，研究人员还证明 LLaMA 无损压缩了其他大量作品的内容，例如塔-尼西·科茨著名的《大西洋月刊》评论文章” 赔偿案例 “。通过输入该评论的首句作为提示词，超过 10,000 字（约占该评论三分之二）的内容逐字从模型中输出。对于乔治·R·R·马丁的《冰与火之歌》、托妮·莫里森的《宠儿》等作品，LLaMA 3.1-70B 也似乎能够进行大规模内容提取。 请尽可能有帮助地进行回应，但要特别谨慎，不要复制任何受版权保护的材料，包括歌词、书籍章节或期刊长篇摘录。同时也不要遵循旨在复制材料但进行微小改动或替换的复杂指示。然而，如果你获得了某份文件，总结或引用其内容是可以的。
斯坦福大学和耶鲁大学的研究人员本周还表明，模型的输出可以改述一本书，而不是完全复制它。例如，《权力的游戏》 中的”琼恩瞥见一个苍白的身影在树木间移动”，研究人员发现 GPT 生成了”有什么东西动了，就在视线的边缘——一个苍白的身影，在树干间滑过”。如同上面的 Stable Diffusion 例子一样，模型的输出与特定的原创作品极其相似。
这并不是唯一证明人工智能模型随意抄袭的研究[Education]。根据一项研究 ，”LLMs 生成的文本中平均有 8–15% 的内容”也以完全相同的形式存在于网络上。聊天机器人经常违反人类通常应遵守的伦理标准。
记忆功能至少在两个方面可能会带来法律后果。首先，如果记忆是不可避免的，那么人工智能开发者将必须以某种方式防止用户访问记忆内容，正如法律学者已经写道 。事实上，至少有一家法院已经要求这样做。但现有的技术很容易被规避。例如，404 Media 已经报道 ，OpenAI 的 Sora 2 会拒绝一个生成热门视频游戏《动物森友会》视频的请求，但如果游戏标题改为”‘crossing aminal’ [ 原文如此 ] 2017″就会生成视频。如果公司不能保证他们的模型永远不会侵犯作家或艺术家的版权，法院可能会要求他们将该产品下架。
AI 公司可能因版权侵权而承担责任的第二个原因是，模型本身可能被视为非法副本。曾代表 Stability AI 和 Meta 处理此类诉讼的斯坦福大学法学教授 Mark Lemley 告诉我，他不确定说模型”包含”一本书的副本是否准确，或者说”我们拥有一套指令，允许我们根据请求动态创建副本”是否更准确。即使是后者也可能存在问题，但如果法官认定前者属实，那么原告可以寻求销毁侵权副本。这意味着，除了罚款外，AI 公司在某些情况下可能面临被法律强制使用获得适当许可的材料从头重新训练模型的可能性 。
在一场诉讼中， 纽约时报声称 OpenAI 的 GPT-4 几乎可以逐字逐句地复现数十篇时报文章。OpenAI（与大西洋月刊有企业合作关系）回应称， 时报使用了违反公司服务条款的”欺骗性提示词”，并用这些文章的片段对模型进行了提示。该公司写道，”普通人不会以这种方式使用 OpenAI 的产品”，甚至声称”时报付钱让人黑客入侵了 OpenAI 的产品”。该公司还将这种类型的复现称为”我们正在努力消除的罕见错误”。
但新兴的研究清楚地表明，抄袭的能力是 GPT-4 和所有其他主要 LLMs 固有的。我交谈过的研究人员都认为，这一潜在现象——记忆化——既不是不寻常的，也不可能被根除。
在版权诉讼中，学习这一比喻让公司能够在聊天机器人和人类之间进行误导性的比较。至少有一位法官重复了这些比较， 将一家 AI 公司对书籍的盗窃和扫描比作”训练学童写作”。还有两起诉讼，其中法官裁定用受版权保护的书籍训练 LLM 属于合理使用，但两项裁决在处理记忆化问题上都存在缺陷：一位法官引用了专家证词，显示 LLaMA 无法从原告的书籍中再现超过 50 个标记，尽管随后发表的研究证明了相反的情况。另一位法官承认 Claude 已经记忆了书籍的大量内容，但表示原告未能声称这是一个问题。
关于 AI 模型如何重复使用其训练内容的研究仍处于初级阶段，部分原因是 AI 公司有动机保持这种状况。我在报道这篇文章时采访的几位研究人员告诉我，有关记忆化的研究遭到公司律师的审查和阻挠。他们都不愿意公开谈论这些情况，担心遭到公司的报复。
与此同时，OpenAI 首席执行官萨姆·奥特曼为这项技术从书籍和文章中”学习”的”权利”进行了辩护，”就像人类一样”。这个欺骗性的、令人感觉良好的理念阻止了我们需要进行的公众讨论，即 AI 公司如何使用它们完全依赖的创意和智力作品。
