RecodeX 重构消息,vLLM修复了一个Mamba缓存缺陷:在块中途恢复时,系统可能以完整块的哈希发布不完整的SSM状态,从而造成缓存命中错误。补丁将该复现用例的命中量从832个token降至16个,并恢复了原本应返回的“pillow”口令。
vLLM修复Mamba缓存缺陷:错误命中832个token导致口令出错
AI 辅助判断积极仅供信息参考,不构成投资建议
原始信息来源Runtimewireruntimewire.com
查看原文 ↗RecodeX 重构消息,vLLM修复了一个Mamba缓存缺陷:在块中途恢复时,系统可能以完整块的哈希发布不完整的SSM状态,从而造成缓存命中错误。补丁将该复现用例的命中量从832个token降至16个,并恢复了原本应返回的“pillow”口令。