RecodeX 重构消息,上海科学智能研究院研究员夏翰宸为第一作者、复旦大学教授朱思语为通讯作者的团队开源RSI模型REMORY,仅用1.9B可训练参数、两张H800即可完成完全自监督训练。该模型通过拟合上下文压缩产生的记忆残差,生成软记忆残差token附加到概要之后供主模型使用,训练全程冻结基模权重,分两阶段仅更新记忆模块参数。
评测显示,该技术在多项任务中大幅减少工具报错与重复输出,降低生成开销,并提升不同架构主模型的任务表现;还可驱动自动化科研智能体在跨数日的长周期科研任务中跨上下文边界延续记忆,支撑递归自改进,产出效果接近GPT-6.1-Terra。