RecodeX 重构消息,Meta近期大幅提高AI搜索索引的爬虫抓取强度,独立开发者Pieter Levels称,其多个网站本周遭高频抓取,一台VPS多次触发负载报警。DataDome数据显示,今年第二季度Meta两只AI爬虫共发出91亿次请求,其中负责建立搜索索引的Meta-WebIndexer环比增长163%,6月请求量首次超过训练爬虫。Meta在2024年即被曝自建搜索引擎,以减少对Google和Bing的依赖。有匿名员工透露,Meta希望自建搜索以避免将AI搜索请求交给Google并被用于训练,此说法未获证实。