RecodeX 重构消息,RunAnywhere(YC W26)开源了面向AWS Trainium芯片的推理引擎TrnRT(Trainium RunTime),项目启动仅三周。目前该引擎可在单台trn2.48xlarge上以FP8精度运行GLM-5.3 flash,通过缓存感知路由同时服务两个实例,在SemiAnalysis的AgentX基准测试中达到每分钟357万token的处理能力。
团队称,trn2.48xlarge每TB内存成本不到AWS上8块H200方案的一半,但AWS自有技术栈对GLM模型支持不足:vLLM Neuron最新版本未注册任何GLM模型,NxDI已停止活跃开发。团队为此编写了megakernel,将每层解码压缩至两次内核调度,batch 8下解码速度提升25%。
实测中,单机在32个agent、并发12时每分钟处理28.9个请求;16个agent、命中缓存时P50首token延迟约1.24秒,解码速度35.9 tps。团队也承认稀疏注意力预填充存在近似误差,影响约1.2%的块选择。