RecodeX 重构消息,一家北大系创业公司开源了一款4B参数的上下文压缩模型,可将长上下文压缩后再输入主模型处理。据其公布的数据,该方案使推理成本降低78%,API成本降低97%。
北大系创企开源4B上下文压缩模型,推理成本降78%
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源凤凰科技tech.ifeng.com
查看原文 ↗RecodeX 重构消息,一家北大系创业公司开源了一款4B参数的上下文压缩模型,可将长上下文压缩后再输入主模型处理。据其公布的数据,该方案使推理成本降低78%,API成本降低97%。