RecodeX 重构消息，Cloudflare数据显示，2026年初，Anthropic的ClaudeBot每为网站带来一次引荐访问，就要抓取23951个页面；到7月，这一比例变为1917比1。同期OpenAI的GPTBot的抓取与引荐比从1276比1降至约251比1。随着智能体机器人流量激增，越来越多网站开始封锁AI爬虫。