RecodeX 重构消息，亚马逊云科技（AWS）于2026年9月18日发布Amazon SageMaker HyperPod Inference Gateway。该产品是面向大语言模型推理的Kubernetes原生、GPU感知路由系统，以单一托管插件形式部署在现有HyperPod基础设施上的Amazon EKS中。

AWS表示，该网关可将首字延迟最多降低82%。AWS指出，Kubernetes默认的轮询、最少连接等负载均衡算法无法感知GPU状态，是引入该路由系统的原因。