RecodeX 重构消息,在PyTorch大会上,llm-d核心开发者发布了llm-d 1.0版本。该项目是云原生计算基金会(CNCF)旗下的开源框架,基于Kubernetes原生方式在集群中运行大语言模型推理。

1.0版本新增流量优先级、升级控制与稳定API,旨在提升性能并降低AI推理成本。