RecodeX 重构消息，研究机构SemiAnalysis发布报告，系统拆解大模型推理服务的底层架构。报告指出，随着MoE模型成为主流，AI推理已演变为由预填充、中间填充、解码注意力和解码专家组成的复杂流水线，各阶段对算力、内存带宽和网络的需求差异明显。

报告认为，多数推理场景下内存带宽比容量更具经济价值，高带宽内存可提升Token生成效率，闲置HBM只会增加成本。其预计2027年单个流水线阶段可能需要约400至500GB本地快速内存，已处理的KV缓存应及时迁移至CPU DRAM及更低成本网络存储。

报告还比较了聚合式与分离式架构，并通过模拟器预测Kimi K3在英伟达B200、B300和GB200系统上的表现，显示多数前沿配置单GPU HBM峰值驻留量低于80GB。