RecodeX 重构消息,微软DeepSpeed项目新增一个可选启用的预填充规划器,在贡献者进行的单GPU FP32测试中,面对分布偏斜的Qwen批次,将延迟从1.68秒降至0.84秒。该规划器按成本对预填充请求进行分桶调度,以改善长尾批次的处理效率。