RecodeX 重构消息,麻省理工、英伟达与浙江大学研究人员提出TriAttention,一种KV缓存压缩方法,在吞吐量提升2.5倍的同时匹配全注意力性能,适用于大型语言模型的长链推理任务。
麻省理工、英伟达与浙江大学研究人员提出TriAttention,一种KV缓存压缩...
原始信息来源marktechpost.commarktechpost.com
查看原文 ↗RecodeX 重构消息,麻省理工、英伟达与浙江大学研究人员提出TriAttention,一种KV缓存压缩方法,在吞吐量提升2.5倍的同时匹配全注意力性能,适用于大型语言模型的长链推理任务。