RecodeX 重构消息,Cerebras公布一套已投入生产的推理架构:由AMD Instinct GPU负责提示词预填充(prefill)处理,Cerebras CS-3系统负责解码(decode),官方称该方案每兆瓦可产出5倍于以往的token数量。该架构将率先部署在Cerebras Inference Cloud,随后推广至合作数据中心。
Cerebras将预填充交给AMD GPU,每兆瓦token数提升5倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗