事件追踪 · 持续发展中

vLLM缓存缺陷修复

持续追踪vLLM缓存缺陷修复相关报道与进展。

我的关注 →RSS 订阅
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。

事件时间线

按最新发布排序

持续追踪vLLM缓存缺陷修复相关报道与进展。

Runtimewire积极AI 看多

vLLM合并改动:引擎重启后可保留压缩张量块FP8权重

RecodeX 重构消息,vLLM合并一项改动,使重启后的推理引擎能够通过CUDA IPC映射已处理的CUTLASS块FP8权重,避免重启后重新处理权重。该改动已在B300上验证,贪心解码输出与重启前完全一致。

持续追踪vLLM缓存缺陷修复相关报道与进展。

Runtimewire积极AI 看多

vLLM在八块MI355X上把DeepSeek V4.1 Engram查找从54毫秒降至5.1毫秒

RecodeX 重构消息,vLLM贡献者Fangzhou Ai公布一项优化结果:在八块MI355X GPU上,针对94 GiB共享表的589,824行查找,DeepSeek V4.1 Engram查找耗时从54毫秒降至5.1毫秒,提速10.6倍。该结果在ROCm平台上从32,768行起启用排序路径。

持续追踪vLLM缓存缺陷修复相关报道与进展。

vLLM修复Mamba缓存缺陷:错误命中832个token导致口令出错

RecodeX 重构消息,vLLM修复了一个Mamba缓存缺陷:在块中途恢复时,系统可能以完整块的哈希发布不完整的SSM状态,从而造成缓存命中错误。补丁将该复现用例的命中量从832个token降至16个,并恢复了原本应返回的“pillow”口令。