Together AI 开源 OSCAR，一种注意力感知的 2 位 KV 缓存量化系统，可将长上下文 LLM 服务的 KV 内存减少约 8 倍，解码速度提升 3 倍。
发现重构世界的力量
发现重构世界的力量
Together AI 开源 OSCAR，一种注意力感知的 2 位 KV 缓存量化系统，可将长上下文 LLM 服务的 KV 内存减少约 8 倍，解码速度提升 3 倍。