RecodeX 重构消息，英伟达公开了名为Reshard collective的新运算方法，可将强化学习训练中训练GPU向推理GPU同步权重的延迟最多缩短5.7倍。在自家NeMo RL测试中，权重重载（refit）耗时比原有方式缩短2.7至5.7倍。

英伟达于11月6日在技术博客中介绍了该运算及开源参考实现NCCL M2N Reshard。强化学习后训练阶段，推理GPU生成的训练轨迹用于更新训练GPU上的模型；当训练与推理分置于不同GPU时，更新后的训练权重需定期传至推理GPU，这一过程即权重重载，耗时过长会拖慢模型更新周期。