RecodeX 重构消息，摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。

该项目已在摩尔线程万卡级集群的万亿参数 MoE 预训练中持续应用，支持 blockwise FP8 训练，并可结合 DeepEP 与 ACE 异步通信引擎加速 MoE 中的 Token 分发与结果合并，实现专家并行与计算重叠。项目同时支持与 slime、miles 强化学习框架协同，结合 Megatron 训练与 SGLang 样本生成。