Together AI借智能体调优将Step 5吞吐量提升3.47倍
RecodeX 重构消息,Together AI表示,通过八项服务优化,其将StepFun Step 5 Preview的吞吐量提升了3.47倍,优化措施包括新的MoE后端和稀疏注意力机制。该公司未公布所用硬件配置及延迟数据。
持续追踪Together AI推理优化相关报道与进展。
关注仅保存在当前浏览器和域名中,无需登录,不会自动跨设备同步。RecodeX 重构消息,Together AI表示,通过八项服务优化,其将StepFun Step 5 Preview的吞吐量提升了3.47倍,优化措施包括新的MoE后端和稀疏注意力机制。该公司未公布所用硬件配置及延迟数据。
RecodeX 重构消息,Together AI于4日发布“Together Compiler”工具,通过AI代理反复优化用于推理的GPU代码。公司说明,该工具的优化对象并非AI模型权重,而是驱动模型运行的GPU代码;推理指训练完成的模型生成用户回答的过程。该工具可自动完成模型结构、请求流量或GPU发生变化时所需的推理代码重新优化,使代码执行适配新模型或新硬件。Together AI称,多个代理反复试验代码修改,实验次数比现有代理式推理优化系统多252倍。
RecodeX 重构消息,Together AI宣布将连续编译(continuous compilation)技术应用于生产环境推理服务,旨在提升模型推理的运行效率。该技术此前多用于开发与训练环节,此次被引入线上推理部署。