RecodeX 重构消息,谷歌发布开源C++库TPU Sync,可在TPU的HBM、主机DRAM、存储与网络之间迁移KV缓存和模型权重。谷歌称,在235B至480B参数的MoE模型上,该库将KV缓存传输延迟降低超过90%。