作者在GPT-2风格LLM训练实验中，通过指令微调测试发现模型测试集损失与实用性能并不完全相关，某些低损失模型在指令遵循任务中表现反而较差，揭示了单纯追求低损失可能无法保证模型实际效用。
发现重构世界的力量
发现重构世界的力量
作者在GPT-2风格LLM训练实验中，通过指令微调测试发现模型测试集损失与实用性能并不完全相关，某些低损失模型在指令遵循任务中表现反而较差，揭示了单纯追求低损失可能无法保证模型实际效用。