RecodeX 重构消息,作者测试关闭AMP和低精度矩阵乘法对GPT-2小模型训练的影响,发现模型质量略有提升但成本大幅增加,结论是AMP在速度和内存方面优势明显,性价比更高。