RecodeX 重构消息,在英伟达DGX Spark上以单请求方式测试Nemotron 3.5 Lightning,多令牌预测(MTP)方式的接受令牌吞吐量为每秒93.2个,同条件下基础方式生成令牌吞吐量为每秒75.6个。
英伟达TensorRT Edge-LLM 0.10.0性能表显示,DFlash在批量为1时吞吐为每秒61.5个接受令牌。该表对基础解码按生成令牌统计,对MTP与DFlash按接受令牌统计。
批量提升至8个并发请求时,基础方式为每秒244.9个生成令牌,MTP为每秒185.0个接受令牌,DFlash为每秒149.2个接受令牌。