RecodeX 重构消息,Hugging Face发布TRL v1.18.0,修复了一个导致强化学习训练中rollout复用旧权重KV缓存的问题。新版本引入模型版本缓存盐(cache salt),使AsyncGRPO与AsyncDistillation的学生模型rollout不再将新权重与首版前缀KV缓存配对,从而保证训练数据与当前模型权重一致。