RecodeX 重构消息，一项针对大语言模型KV缓存量化的研究显示，在相同的2位精度下，仅改变量化轴的选择，基准分数即可从2.88跃升至63.53。研究以Llama-2-13B为例，将键值缓存按组大小32量化为2位，其余配置不变，仅因轴选择不同，CoQA基准表现出现显著差距。结果表明，键和值需要相反的量化处理，原因在于注意力机制而非硬件限制。