RecodeX 重构消息,字节跳动Seed团队的一篇论文发现,在DeepSeek-V4等采用分块压缩的模型中,检索准确率会因token所处位置不同而出现最高40个百分点的波动。研究将这一现象称为“相位敏感”盲区,指出分块KV缓存压缩在压缩效率之外还存在位置相关的精度风险。
字节Seed论文揭示分块KV缓存压缩的相位敏感盲区
AI 辅助判断中性仅供信息参考,不构成投资建议
原始信息来源Pandailypandaily.com
查看原文 ↗RecodeX 重构消息,字节跳动Seed团队的一篇论文发现,在DeepSeek-V4等采用分块压缩的模型中,检索准确率会因token所处位置不同而出现最高40个百分点的波动。研究将这一现象称为“相位敏感”盲区,指出分块KV缓存压缩在压缩效率之外还存在位置相关的精度风险。