RecodeX 重构消息,一家北大系创业公司开源了一款4B参数的上下文压缩模型,可将长上下文压缩后再输入主模型处理。据其公布的数据,该方案使推理成本降低78%,API成本降低97%。