RecodeX 重构消息,作者测试关闭AMP和低精度矩阵乘法对GPT-2小模型训练的影响,发现模型质量略有提升但成本大幅增加,结论是AMP在速度和内存方面优势明显,性价比更高。
作者测试关闭AMP和低精度矩阵乘法对GPT-2小模型训练的影响,发现模型质量略有...
原始信息来源gilesthomas.comgilesthomas.com
查看原文 ↗RecodeX 重构消息,作者测试关闭AMP和低精度矩阵乘法对GPT-2小模型训练的影响,发现模型质量略有提升但成本大幅增加,结论是AMP在速度和内存方面优势明显,性价比更高。