AI人工智能
Tensormesh 融资 2000 万美元:AMD、CoreWeave、NVIDIA 三大芯片/算力巨头联手投资,只为解决 AI 推理中最烧钱的「KV Cache」问题
当 AI 公司们抱怨 GPU 不够用、算力太贵时,很少有人意识到一个残酷的事实:大语言模型推理过程中,超过 60% 的 GPU 显存被一种叫做 KV Cache(键值缓存)的中间计算状态占据。当一个 LLM 处理用户的提示词时,Transf…