RecodeX 重构消息,斯坦福大学与Together AI研究者提出一种不同于自回归和扩散的第三种文本生成范式——Next-Concept Modeling(NCM,下一概念建模)。该方法借鉴图像领域的下一尺度预测思路,让模型先并行生成概念大纲,再逐层并行填充细节,最终得到完整文本。
NCM采用两阶段训练:先训练多尺度残差VQ-VAE,得到可逐层补充信息的多层离散文本编码;再冻结该系统训练Transformer预测下一层编码。实验显示,在相近或更好的生成质量下,NCM相对扩散语言模型实现10至31倍的生成速度,训练所需token量也大幅减少,在数独等推理任务上表现优于自回归和扩散基线,并可通过多生成候选挑选进一步优化效果。
目前NCM所用模型参数规模有限,扩大规模后的表现以及精确文本与长篇内容生成能力仍待验证。