大型语言模型（LLM）在理解拼写方面的局限性，以“strawberry”为例，指出这些模型并不具备人类的思维方式，而是依靠一种称为“变换器”（transformer）的深度学习架构，通过将文本转化为数值表示来处理语言，导致在字母和音节的理解上出现重大缺陷。AI图像生成器与文本生成器在处理细节时的差异，强调了当前LLM在语言处理上的不足，以及对新一代AI产品的期待。

关键点
– 大型语言模型在拼写方面常常出现错误，如对“strawberry”拼写的理解不准确。
– LLM并不具备人类思维，它们是通过将文本编码为数字表示来处理信息，而非真正“阅读”文本。
– 变换器架构容易导致对字母和音节的解析失误，因为它们无法有效输出实际的文本。
– 语言模型的“分词”过程存在模糊性，使得定义何为“单词”变得复杂。
– 不同语言的拼写规则差异加大了LLM处理多语言文本的难度。
– 图像生成模型采用扩散模型，而非变换器架构，处理流畅度和细节表现上有所不同。
– OpenAI正在开发代号为“Strawberry”的新AI产品，旨在提高推理能力，改善当前LLM的表现。

https://techcrunch.com/2024/08/27/why-ai-cant-spell-strawberry/