RecodeX 重构消息,Yann LeCun团队相关研究将柏拉图表征假说转化为数学定理,并给出可操作的充分条件。研究采用基于JEPA的「好视图」训练方式,让模型学习同一场景不同描述背后的共同场景内容,同时加入约束避免表征坍塌。

该训练方式的样本对齐效率比下一token预测路线提升42倍,按实际读取文本token计算效率差距约14倍;仅1.09亿参数的模型,其表征对齐效果超过720亿参数的大语言模型。研究还显示,可通过简单线性映射连接分别独立训练的视觉与文本模块,完成图像描述等任务。