RecodeX 重构消息,作者在训练GPT-2小型模型时,通过调整学习率调度(包括线性预热和余弦衰减),将测试损失从3.692降至3.602,取得了显著改进。