RecodeX 重构消息,Salesforce AI研究团队在arXiv发布预印本论文《Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO》,提出一种将数学与代码专家模型能力整合进单一学生模型的方法。

研究团队先分别训练数学和代码专家模型,再通过多教师在线策略蒸馏(OPD)将能力整合到学生模型,使其恢复各专家模型的准确度。实验显示,该方式达到与两领域联合强化学习相近的性能,总训练算力减少42.0%。论文以评估数据准确度与累计训练FLOPs进行对照。