RecodeX 重构消息,vLLM合并一项改动,使重启后的推理引擎能够通过CUDA IPC映射已处理的CUTLASS块FP8权重,避免重启后重新处理权重。该改动已在B300上验证,贪心解码输出与重启前完全一致。
vLLM合并改动:引擎重启后可保留压缩张量块FP8权重
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗RecodeX 重构消息,vLLM合并一项改动,使重启后的推理引擎能够通过CUDA IPC映射已处理的CUTLASS块FP8权重,避免重启后重新处理权重。该改动已在B300上验证,贪心解码输出与重启前完全一致。