RecodeX 重构消息,来自多所机构的研究者提出Dependency-Sparsity Regularization(DSReg)方法,针对传统JEPA学到的隐表征无法对应真实观测生成隐变量的问题,无需重建观测、解码器与标签,可直接加载现有预训练LeJEPA checkpoint。

该方法对白化后的JEPA表征寻找最优正交旋转,拆分混合的隐变量,在宽松的Structural Diversity假设下可理论保证恢复出与真实世界变量一一对应的隐表征维度,且不损失原有预测能力。单张48GB显卡即可支持最高8192维表征处理,在视觉编辑、稀疏控制等下游任务上表现优于原生LeJEPA。