RecodeX 重构消息,谷歌与Fortinet的研究人员在3日发布于arXiv的论文中,对检索增强生成(RAG)的检索环节进行了实验:在检索库中加入5篇针对问题专门构造的文档后,RAG的检索排名指标较原有水平下降40.2%至61.5%。该指标反映的是查找参考资料阶段的排序质量,而非AI最终答案出错的概率。

实验覆盖SciFact的300个问题和NFCorpus的323个问题,共623个问题,测试了基于关键词匹配的BM25、比较语义的LSA以及两者结合的混合检索三种方式。