RecodeX 重构消息,英伟达在TensorRT-LLM中新增一项默认关闭、需手动开启的MXFP8内核优化,针对SM107架构上的复制共享专家(replicated shared experts)场景。在单块VR200上运行Kimi K3的微基准测试中,该内核带来最高2.5倍的性能提升。
英伟达TensorRT-LLM新增可选MXFP8内核,Kimi K3微基准提速2.5倍
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗