RecodeX 重构消息,上海801教室相关团队联合发布首份完整公开的预训练级递归自我改进(RSI)技术报告,同时开源801-30B base模型及高质量轻量SFT数据。该模型仅用三个月训练完成,评测中跻身同尺寸开源基座第一梯队,经轻量SFT后可与多家厂商完整后训练的模型正面交手。
团队将传统难以闭合的RSI大循环拆分为三类可快速闭合的小循环,并搭配共享生产记忆沉淀经验,解决了多个跨团队疑难问题。目前全球公开将RSI应用于从零开始前沿预训练的主体仅有两家,另一家为估值40亿美元的美国创业公司Recursive。