RecodeX 重构消息,axem公司开源了名为Shaide的Kubernetes原生AI平台,用于分布式多模型推理。该平台支持在自有基础设施上运行多个LLM,实现独立扩展、请求路由和KV缓存感知调度,基于vLLM和llm-d构建,提供OpenAI兼容API,可完全离线运行,兼容RKE2、EKS、GKE和AKS。项目采用Apache 2.0许可,目前处于早期阶段。
开源AI平台Shaide发布:K8s原生多模型推理
AI 辅助判断中性仅供信息参考,不构成投资建议
原始信息来源Hnrssgithub.com
查看原文 ↗