RecodeX 重构消息,Langfuse联合创始人Max、Marc和Clemens在Hacker News发布Langfuse AI Gateway测试版。该网关用Rust编写,无状态、不依赖数据库,Docker镜像仅22MB,开启追踪时中位开销低于3毫秒,在2核vCPU上可支持1000路以上并发流。
用户只需更换base URL和API密钥,网关便以团队共享的供应商密钥转发原生请求,不在不同API之间做转换,响应原样中继。传入traceparent头后,调用会落入已有的Langfuse追踪链路;在云端,每次调用会生成包含token、成本、延迟和首token时间的generation记录。
该产品采用MIT许可,可通过Docker Compose或Helm自托管,也可使用云版本。后续计划包括按密钥、用户和团队设置预算上限,以及自定义模型别名与回退、护栏、PII脱敏和SCIM用户配置。