RecodeX 重构消息,清华大学翟季冬教授团队联合相关单位研发的大模型训练系统“八卦炉2”相关论文被SC26录用。该系统针对MoE大模型训练中token集中涌向少数专家、引发显存尖峰并导致任务OOM崩溃的问题,提出灵活激活显存供给机制:在MoE门控计算完成后、专家计算开始前的窗口,用可扩展成本模型估算不同显存策略的收益与开销,以算子级粒度动态选择保存、重计算或卸载方案,并通过动态规划调度将额外操作填入流水线硬件空泡。在万卡级国产加速卡集群实测中,128至12288卡规模、188B至1.04万亿参数训练场景下平均吞吐较基线提升1.14倍,12288卡下总吞吐达2.012 EFLOPS,平均MFU达32.9%,核心代码已开源。
清华八卦炉2论文被SC26录用,万卡集群训练吞吐提升1.14倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Readhubreadhub.cn
查看原文 ↗