RecodeX 重构消息，实验表明，增加训练数据量或重复多次训练并未显著提升GPT-2风格模型在指令微调评估上的表现，改进效果微弱且不明确，因此无法确认过训练是OpenAI权重更好的原因。