RecodeX 重构消息，斯坦福与伯克利的研究人员Liana Patel、Rishabh Ranjan、Ion Stoica、Matei Zaharia和Carlos Guestrin提出TokenGate方法，通过加入可训练的门控模块为每个token打分，仅保留最重要的token。论文报告称，该方法在预填充阶段将峰值内存降低1.5倍至3.4倍，相关代码已在GitHub公开。