RecodeX 重构消息,作者在训练GPT-2小模型时,通过实施梯度裁剪技术,有效缓解了梯度爆炸问题,使测试集损失从3.743降至3.678,提升了模型性能。