Relay自托管LLM网关

RecodeX 重构消息，开发者Pavel发布了一款可自托管的AI网关Relay，主打智能路由与请求节流。该网关可对传入请求进行分类，判断所需模型能力，再在已配置的多个服务商之间路由，并兼顾速率限制与可用容量。

Relay采用队列优先策略，按服务商限额排队和调节请求，以减少触发限流错误或降级到较差模型的情况。其内置分类器运行在个位数毫秒级，速度明显快于Laya，路由决策结果大体相近。

社区版已开放，提供公开代码仓库、内置仪表盘和本地分类器，使用Go编写，可通过npx @anchorshell/relay运行或从源码构建；另有带免费额度的托管版本。