国产GPU标称算力达英伟达八成,实际Token输出仅理论值一成
RecodeX 重构消息,GPUStack CEO秦小康指出,国产GPU芯片标称性能可达英伟达的70%~80%,但实际跑模型时Token输出能力可能只有理论值的10%,问题不在芯片本身,而在上下层软件未匹配好,需大量调优。
国家数据局数据显示,中国日均AI词元调用量从2024年初约1000亿飙升至2026年3月超140万亿;而中国信通院等机构调研显示,国内智算中心GPU平均利用率不足30%。IDC调研显示,近半数企业智算资源利用率处于51%~70%区间,6.7%的企业仅为31%~50%。
中科曙光总工程师万伟表示,决定Token生成效率的不只是加速卡算力,更是算力、网络和存储三者间的数据流转效率;万卡级分布式训练中网络通信耗时已占整体任务时间的30%到50%。