RecodeX 重构消息,PyTorch 2.15于10月28日发布,分布式训练默认的NCCL通信后端已替换为重写版本,所有nccl进程组均默认使用该新后端。新版本还提供“飞行记录仪”功能,在通信运算停滞或超时时记录诊断状态。NCCL是英伟达的集合通信库,负责GPU之间的数据交换;在多GPU训练AI模型时,各设备分工计算并交换数据以对齐结果,通信效率直接影响整体训练进度。
PyTorch 2.15发布:重写版NCCL后端成为GPU通信默认选项
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Tokenposttokenpost.kr
查看原文 ↗