RecodeX 重构消息,英伟达TensorRT-LLM在DeepSeek V4 Pro上的测试显示,合并后的策略仅需分析838种策略,而原方案需分析82160种,调优时间因此缩短约70%。该功能默认处于关闭状态。
英伟达TensorRT-LLM测试将DeepSeek V4调优时间缩短70%
后续报道
英伟达TensorRT-LLM测试中DeepSeek缓存容量提升逾一倍
RecodeX 重构消息,英伟达在TensorRT-LLM中采用基于批次的分配器,在一项测试布局中,为DeepSeek-R1的MLA层分配了43 GiB缓存预留中的38.9 GiB,而此前该数值为16.1 GiB。