RecodeX 重构消息,国内日均词元调用量已突破500万亿,算力市场需求随之暴涨,智能算力出现短期供给不足,需要通过软件调度向存量算力要效益。
清华大学郑纬民院士团队研发的大模型推理系统Mooncake凭借PD分离技术获得埃里克·里德尔最佳论文奖。该技术将读入用户问题与生成回答两项任务拆分,由一组算力专门读题、另一组专门答题。在同等硬件规模下,该系统可多承接75%的用户请求,长文本吞吐能力提升五倍以上。
RecodeX 重构消息,国内日均词元调用量已突破500万亿,算力市场需求随之暴涨,智能算力出现短期供给不足,需要通过软件调度向存量算力要效益。
清华大学郑纬民院士团队研发的大模型推理系统Mooncake凭借PD分离技术获得埃里克·里德尔最佳论文奖。该技术将读入用户问题与生成回答两项任务拆分,由一组算力专门读题、另一组专门答题。在同等硬件规模下,该系统可多承接75%的用户请求,长文本吞吐能力提升五倍以上。