RecodeX 重构消息,一名开发者发布了一款交互式可视化工具,用于逐步展示类GPT-2微型模型的内部计算过程。该工具在浏览器中实时计算每一个矩阵数值,鼠标悬停任意单元格即可查看该步骤的具体数学运算。

工具覆盖三部分内容:推理阶段从分词到采样的单token生成过程、预训练的单步训练,以及后训练阶段RLHF的一次PPO迭代。开发者称其灵感部分来自Brendan Bycroft的大语言模型可视化项目。