RecodeX 重构消息,Together AI 开源 OSCAR,一种注意力感知的 2 位 KV 缓存量化系统,可将长上下文 LLM 服务的 KV 内存减少约 8 倍,解码速度提升 3 倍。
Together AI 开源 OSCAR,一种注意力感知的 2 位 KV 缓存量...
原始信息来源marktechpost.commarktechpost.com
查看原文 ↗RecodeX 重构消息,Together AI 开源 OSCAR,一种注意力感知的 2 位 KV 缓存量化系统,可将长上下文 LLM 服务的 KV 内存减少约 8 倍,解码速度提升 3 倍。