RecodeX 重构消息，一名开发者参照Sebastian Raschka著作《Build a Large Language Model (from Scratch)》中的GPT-2风格代码加入混合专家（MoE）支持，并在单张RTX 3090上从零训练出一个446M参数、每token激活220M参数的模型，相当于带6个专家、每token激活2个的GPT-2 small。训练耗时近八天，模型在测试集上的损失优于其此前训练的所有模型，也优于OpenAI GPT-2 small（124M参数），但略逊于GPT-2 medium（345M参数）。在指令微调测试中，该模型表现好于作者其他模型，但不及OpenAI两款模型。作者指出，MoE训练除最小化训练损失外还需引入辅助损失，以确保各专家被均衡使用。