Redis推出LangCache托管语义缓存服务，称可降低LLM API成本最高90%

RecodeX 重构消息，Redis发布名为LangCache的全托管语义缓存服务，部署在应用与LLM之间。官方称该服务可削减LLM API调用成本最高达90%，缓存命中响应速度最高提升15倍。Redis指出，生产环境中的LLM应用与RAG流程每天会重复处理大量语义相同但措辞不同的问题，多数技术栈仍将每种表述视为全新请求并全额计费，语义缓存旨在复用这类重复查询。