RecodeX 重构消息,一项新的并行推测解码方法已开源,其核心思路是将因果依赖关系嵌入草稿网络的深度结构中,从而提升草稿生成的准确性与并行效率。该方案在SGLang推理框架上实测吞吐最高可达此前的4倍,并宣称在推测解码任务上达到当前最优水平(SOTA)。相关代码已对外开源。
SGLang并行推测解码新方案开源,吞吐最高提升4倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源新浪科技finance.sina.com.cn
查看原文 ↗RecodeX 重构消息,一项新的并行推测解码方法已开源,其核心思路是将因果依赖关系嵌入草稿网络的深度结构中,从而提升草稿生成的准确性与并行效率。该方案在SGLang推理框架上实测吞吐最高可达此前的4倍,并宣称在推测解码任务上达到当前最优水平(SOTA)。相关代码已对外开源。