开发者发布AI-drop开源项目 用eBPF拦截违规爬虫流量

RecodeX 重构消息，开发者Catalin BOIE发布AGPL协议开源项目AI-drop，用于快速拦截不遵守robots.txt的爬虫。其自营的AGPL代码托管站rocketgit.com原本每天收到约400万次请求，远超正常量级。

由于爬虫使用数百万个IP和伪造的User-Agent，按IP或UA限流已失效。项目通过蜜罐收集违规IP名单，目前包含约157.3万个IPv4和6000个IPv6地址，仅保留7天，并通过eBPF程序在Linux服务器上快速丢包。作者称该方案在rocketgit.com上运行效果良好。