调查：10.7%顶级网站屏蔽AI搜索爬虫但放行Googlebot

RecodeX 重构消息，一项新调查显示，在排名前1000的网站中，有10.7%的网站选择屏蔽AI搜索爬虫（如OpenAI、Anthropic等公司的爬虫），但仍允许Googlebot访问。这表明网站运营者在应对AI搜索流量时采取了选择性策略，既希望保持对传统搜索引擎的可见性，又试图控制AI工具对内容的抓取。