RecodeX 重构消息,微软DeepSpeed项目新增一个可选启用的预填充规划器,在贡献者进行的单GPU FP32测试中,面对分布偏斜的Qwen批次,将延迟从1.68秒降至0.84秒。该规划器按成本对预填充请求进行分桶调度,以改善长尾批次的处理效率。
微软DeepSpeed新增按成本分桶预填充规划器,长尾Qwen批次延迟减半
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗RecodeX 重构消息,微软DeepSpeed项目新增一个可选启用的预填充规划器,在贡献者进行的单GPU FP32测试中,面对分布偏斜的Qwen批次,将延迟从1.68秒降至0.84秒。该规划器按成本对预填充请求进行分桶调度,以改善长尾批次的处理效率。