RecodeX 重构消息,英伟达在TensorRT 11.1中引入自动搜索AI推理引擎构建路径的功能,并在23日的技术博客中介绍了全局性能调优器(Global Performance Tuner)的设计与测量结果。该功能会用多组配置分别构建引擎,再比较各引擎的推理性能;若启用精度验证,则从通过允许标准的候选中选择最快的引擎。构建路径即编译器配置值的组合。英伟达公布的10个工作负载对比显示,调优后性能为各工作负载默认路径的1.14至1.63倍,但该结果仅适用于这些工作负载,并不代表所有模型都能获得同等提升。
英伟达TensorRT 11.1引入推理引擎构建路径自动搜索
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Tokenposttokenpost.kr
查看原文 ↗