RecodeX 重构消息,作者通过分布式数据并行(DDP)在Lambda Labs云平台上使用8x A100 GPU训练GPT-2基础模型,将训练时间从48小时缩短至约4小时,成本约35美元,并发现批量大小对模型质量有显著影响。