RecodeX 重构消息,10月20日,上海记忆张量团队正式发布并开源记忆原生模型MemT-1.0系列,包含MemT-1.0-Flash与MemT-1.0-Nano两款,参数规模分别为288B和36B。
该系列将可持续存在、可更新的内部记忆纳入模型计算,历史信息与任务经验可在后续相关任务中直接调用,无需再次提供原始历史文本。团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行,记忆成为模型前向传播的一部分。
RecodeX 重构消息,10月20日,上海记忆张量团队正式发布并开源记忆原生模型MemT-1.0系列,包含MemT-1.0-Flash与MemT-1.0-Nano两款,参数规模分别为288B和36B。
该系列将可持续存在、可更新的内部记忆纳入模型计算,历史信息与任务经验可在后续相关任务中直接调用,无需再次提供原始历史文本。团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行,记忆成为模型前向传播的一部分。