RecodeX 重构消息，一位网站站长发文讲述过去一年与爬虫程序斗争的经历。其网站拥有约150万页面，据称99%的流量来自机器人。文章分享了识别和屏蔽恶意爬虫的方法，以及这场持久战对服务器资源和内容安全的影响。