RecodeX 重构消息,Supermicro发布KV(键值)缓存解决方案,整合其Petascale存储服务器、IBM Storage Scale软件、英伟达Dynamo推理软件以及英伟达Spectrum-X以太网交换机。性能测试显示,该方案可降低长上下文场景下的首字延迟(TTFT)。
Supermicro联合IBM与英伟达推出KV缓存方案,显著缩短长上下文首字延迟
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Prnewswireprnewswire.com
查看原文 ↗