RecodeX 重构消息,axem公司开源了名为Shaide的Kubernetes原生AI平台,用于分布式多模型推理。该平台支持在自有基础设施上运行多个LLM,实现独立扩展、请求路由和KV缓存感知调度,基于vLLM和llm-d构建,提供OpenAI兼容API,可完全离线运行,兼容RKE2、EKS、GKE和AKS。项目采用Apache 2.0许可,目前处于早期阶段。