争夺网络代理身份所有权之战
本文信息来源:claytonpetty
Cloudflare、Anchor Browser、Browserbase 等公司致力于确立代理真实身份的标准

Cloudflare 刚刚宣布与 Anchor Browser、Browserbase、Block 以及 OpenAI 建立合作,旨在为网络 AI 智能体构建身份识别系统。他们提出采用加密"护照"来区分"合法"智能体与垃圾机器人。
我们确实需要更好的智能体识别机制,但这不仅是为了遏制恶意机器人。互联网上的商户/服务还需要区分重要与非重要智能体以优化服务优先级,将其引导至专门处理批量高流量请求的网络区域,并需要建立某种程度的追踪机制。
耐人寻味的是,几周前已明确显示:我们目前完全缺乏实现这些功能的基础设施。
以下是近期事件背景速览

三周前,Cloudflare 发布了一篇针对 Perplexity 的抨击文章 ,声称 Perplexity 的爬取机器人未遵守 robots.txt 协议。他们进一步指出,即使当 Perplexity 被网站 WAF 拦截时,仍会通过住宅 IP 伪装进行隐蔽的浏览器式爬取以规避检测(参见上图所示架构)。Cloudflare 引用数据显示,基于 Browserbase 构建的隐蔽爬虫每日产生 300-600 万次请求。

Perplexity 立即反击并指出,这些"隐蔽"请求中仅有约 1%来自其专门用于处理复杂用户请求的浏览器式机器人。实际上 99%的请求来自 Browserbase 托管服务覆盖的广泛客户群体,与 Perplexity 并无直接关联。
他们还强调了爬取机器人与用户生成代理的本质区别:前者可能存储和训练爬取数据,而后者是代表用户为特定请求访问资源的代理行为。
他们的观点:Cloudflare 缺乏技术能力来区分哪些代理属于 Perplexity,哪些是基于类似基础设施的其他代理开发者所构建。此外,他们掌握的数据粒度不足,无法理解代理或爬虫的真实意图。
为何此事重要
如果 Perplexity 的说法属实(目前看来很可能如此),这令人担忧。Cloudflare 作为互联网的核心守护者之一,本应在确保代理程序负责任地访问网络资源方面发挥重要作用。代理程序会消耗计算资源、内容,并可能在与网站、商家及服务交互时占用人力资源。
某种身份识别系统将大有裨益,不仅对商家有利,还能促进整个代理生态系统的健康发展。当用户善意发起的人工代理被网站防火墙错误拦截时,也会造成糟糕的体验。
这正是 Cloudflare、Anchor Browser、Browserbase 等公司试图通过其网络机器人认证解决的问题。
- 每个代理都会提交一份加密凭证,用于向它试图交互的任何资源表明身份
- 网站可以验证签名并决定是否放行
- 网站能将代理追溯至已知签发方(从而确保一定程度的可追责性)
理论上,这意味着善意代理会被成功路由和接纳,而可疑代理则会受到限流或拦截。

不出所料,YC 系与 A16z 系立即在推特上就该标准的优劣展开激辩。
我持谨慎乐观态度。
显然,Cloudflare 有极大动力按照自己的条件来制定标准。为此,他们需要像 Anchor Browser 和 Browserbase 这样的浏览器基础设施公司来有效实现这一目标。
智能体的基本单元是“LLM+工具”。通过将这些单元串联起来,你几乎可以实现任何目标。Cloudflare 与浏览器基础设施公司致力于成为最优秀的通用工具(某种意义上的“瑞士军刀”)——Cloudflare 提供工具本身,而浏览器基础设施公司则提供操作工具的技能与功能。
我预计许多开发者短期内会发现它极其有用。加里等人提出的关键问题是:长期来看,如果 Cloudflare 开始让生态系统向自身倾斜,或许会对其他通用工具提供商不利,届时会发生什么。
对此,我也并不十分担忧。让我们看两个例子:
- SSL/TLS(乐观视角) 早期互联网深受信任问题困扰。你无法确认访问的网站是否名副其实。网景公司、IETF 以及一批证书机构共同创建了 SSL(后升级为 TLS)这个中立开放标准。任何网站都能从受认可的证书机构获取证书,浏览器则通过不安全站点警告来强制执行该标准。治理权属于 RFC 和开放标准组织,而非某家单独企业。SSL/TLS 最终成为实现电子商务和网上银行的通用信任层。如果网络机器人认证能沿袭这种发展路径,它可能成为支撑智能网络运转的中立协议。
- 谷歌搜索(同样乐观的视角,但存在赢家)。2000 年代,随着互联网成为所有内容和企业的主要入口,谷歌成为信息检索的事实标准。但与 SSL/TLS 不同,这里不存在开放协议或共同治理机制。谷歌通过《网站管理员指南》(现更名为《谷歌搜索基础指南》)制定规则,并通过排名算法强制执行。不遵守规则的发布商排名骤降,随之而来的是网站收入暴跌。 发布商"不得不服从",但这确实为他们带来了收益!
但关键在于:谷歌赢得搜索大战并不意味着商家或消费者的利益受损。事实恰恰相反——36%的电子商务流量源自谷歌,这助推了数百万企业的创建与成长。在谷歌生态下(尽管"竞争对手仅需一次点击就能到达"),商家和消费者都实现了繁荣发展。我看不出任何理由认为,在假设的 Cloudflare 统治下,代理与商家(或数据提供商、服务提供商等)不能实现同样的繁荣。
存在赢家并不意味着其他参与者都是输家。
其他竞争者必将涌现,因为胜出者将获得巨大收益。或许最大的疑问是:谷歌在这场角逐中究竟置身何处?