RecodeX 重构消息,香港科技大学周子杰团队与华为2012实验室理论部联合提出大模型推理路由方案BalanceRoute,通过数学建模刻画多组计算卡同步解码中的等待问题,并将短期负载预测转化为在线路由决策。
在96张昇腾910C NPU运行DeepSeek-V3 671B的主实验中,采用实际预测器的BR-H相对最强基线解码吞吐提升约15%,单轮调度耗时中位数1.20毫秒、99%分位2.77毫秒。该工作已被NeurIPS 2026接收,并部署于双方共建的MaaS推理服务系统MathBot-Pie。