RecodeX 重构消息,Together AI于4日发布“Together Compiler”工具,通过AI代理反复优化用于推理的GPU代码。公司说明,该工具的优化对象并非AI模型权重,而是驱动模型运行的GPU代码;推理指训练完成的模型生成用户回答的过程。该工具可自动完成模型结构、请求流量或GPU发生变化时所需的推理代码重新优化,使代码执行适配新模型或新硬件。Together AI称,多个代理反复试验代码修改,实验次数比现有代理式推理优化系统多252倍。