RecodeX 重构消息,开发者Pavel发布了一款可自托管的AI网关Relay,主打智能路由与请求节流。该网关可对传入请求进行分类,判断所需模型能力,再在已配置的多个服务商之间路由,并兼顾速率限制与可用容量。
Relay采用队列优先策略,按服务商限额排队和调节请求,以减少触发限流错误或降级到较差模型的情况。其内置分类器运行在个位数毫秒级,速度明显快于Laya,路由决策结果大体相近。
社区版已开放,提供公开代码仓库、内置仪表盘和本地分类器,使用Go编写,可通过npx @anchorshell/relay运行或从源码构建;另有带免费额度的托管版本。