RecodeX 重构消息,海光信息与清程极智联合推出基于PD分离架构的国产AI推理新方案,针对长上下文场景下的推理效率难题。该方案将预填充(Prefill)与解码(Decode)阶段分离部署,以缓解长上下文推理中的算力与显存压力。
海光联合清程极智推出PD分离架构国产推理新方案
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源新浪科技finance.sina.com.cn
查看原文 RecodeX 重构消息,海光信息与清程极智联合推出基于PD分离架构的国产AI推理新方案,针对长上下文场景下的推理效率难题。该方案将预填充(Prefill)与解码(Decode)阶段分离部署,以缓解长上下文推理中的算力与显存压力。