RecodeX 重构消息，Q Labs提出名为Dust的零阶优化方法，无需反向传播即可完成Transformer预训练。该方法将传统进化策略的权重扰动转移到激活空间，为每个token独立添加高斯噪声构建虚拟种群，通过一次前向传播并行评估大量虚拟个体，并结合带衰减系数的信用分配机制估计梯度。

在2.43亿参数规模以下的实验中，Dust表现优于同类零阶方法，大规模种群下可近似甚至在部分设定下超越反向传播。但目前其计算成本远高于反向传播，仅在小规模实验中验证，第三方复现显示常规训练条件下反向传播仍明显领先。该方法向大模型、大规模训练场景的可扩展性仍待验证。