RecodeX 重构消息,英伟达在两台DGX Station上完成了7530亿参数模型GLM-5.3的推理部署,采用vLLM方案。在SPEED-Bench Coding数据集上,同时处理16个请求时,吞吐量达到每秒607.8个token。
英伟达在两台DGX上运行7530亿参数GLM-5.3,吞吐达607.8 tokens/s
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Tokenposttokenpost.com
查看原文 ↗RecodeX 重构消息,英伟达在两台DGX Station上完成了7530亿参数模型GLM-5.3的推理部署,采用vLLM方案。在SPEED-Bench Coding数据集上,同时处理16个请求时,吞吐量达到每秒607.8个token。