RecodeX 重构消息,拥有150万页面的网站PatronView所有者Nick Gray发布一年来对抗爬虫程序的经验数据。统计显示,机器人页面加载量为人类的214倍,平均每个被引荐用户对应约3.5万次Claude爬虫抓取,而亚马逊机器人的引荐次数为零。他同时总结了尝试过的反爬措施与实际效果。