争夺网络代理身份所有权之战

Cloudflare 刚刚宣布与 Anchor Browser、Browserbase、Block 以及 OpenAI 建立合作，旨在为网络 AI 智能体构建身份识别系统。他们提出采用加密”护照”来区分”合法”智能体与垃圾机器人。

我们确实需要更好的智能体识别机制，但这不仅是为了遏制恶意机器人。互联网上的商户/服务还需要区分重要与非重要智能体以优化服务优先级，将其引导至专门处理批量高流量请求的网络区域，并需要建立某种程度的追踪机制。

耐人寻味的是，几周前已明确显示：我们目前完全缺乏实现这些功能的基础设施。

以下是近期事件背景速览

三周前，Cloudflare 发布了一篇针对 Perplexity 的抨击文章 ，声称 Perplexity 的爬取机器人未遵守 robots.txt 协议。他们进一步指出，即使当 Perplexity 被网站 WAF 拦截时，仍会通过住宅 IP 伪装进行隐蔽的浏览器式爬取以规避检测（参见上图所示架构）。Cloudflare 引用数据显示，基于 Browserbase 构建的隐蔽爬虫每日产生 300-600 万次请求。

Perplexity 立即反击并指出，这些”隐蔽”请求中仅有约 1%来自其专门用于处理复杂用户请求的浏览器式机器人。实际上 99%的请求来自 Browserbase 托管服务覆盖的广泛客户群体，与 Perplexity 并无直接关联。

他们还强调了爬取机器人与用户生成代理的本质区别：前者可能存储和训练爬取数据，而后者是代表用户为特定请求访问资源的代理行为。

他们的观点：Cloudflare 缺乏技术能力来区分哪些代理属于 Perplexity，哪些是基于类似基础设施的其他代理开发者所构建。此外，他们掌握的数据粒度不足，无法理解代理或爬虫的真实意图。

为何此事重要

如果 Perplexity 的说法属实（目前看来很可能如此），这令人担忧。Cloudflare 作为互联网的核心守护者之一，本应在确保代理程序负责任地访问网络资源方面发挥重要作用。代理程序会消耗计算资源、内容，并可能在与网站、商家及服务交互时占用人力资源。

某种身份识别系统将大有裨益，不仅对商家有利，还能促进整个代理生态系统的健康发展。当用户善意发起的人工代理被网站防火墙错误拦截时，也会造成糟糕的体验。

这正是 Cloudflare、Anchor Browser、Browserbase 等公司试图通过其网络机器人认证解决的问题。

• 每个代理都会提交一份加密凭证，用于向它试图交互的任何资源表明身份
• 网站可以验证签名并决定是否放行
• 网站能将代理追溯至已知签发方（从而确保一定程度的可追责性）

理论上，这意味着善意代理会被成功路由和接纳，而可疑代理则会受到限流或拦截。

不出所料，YC 系与 A16z 系立即在推特上就该标准的优劣展开激辩。

我持谨慎乐观态度。

显然，Cloudflare 有极大动力按照自己的条件来制定标准。为此，他们需要像 Anchor Browser 和 Browserbase 这样的浏览器基础设施公司来有效实现这一目标。

智能体的基本单元是“LLM+工具”。通过将这些单元串联起来，你几乎可以实现任何目标。Cloudflare 与浏览器基础设施公司致力于成为最优秀的通用工具（某种意义上的“瑞士军刀”）——Cloudflare 提供工具本身，而浏览器基础设施公司则提供操作工具的技能与功能。

我预计许多开发者短期内会发现它极其有用。加里等人提出的关键问题是：长期来看，如果 Cloudflare 开始让生态系统向自身倾斜，或许会对其他通用工具提供商不利，届时会发生什么。

对此，我也并不十分担忧。让我们看两个例子：

• SSL/TLS（乐观视角） 早期互联网深受信任问题困扰。你无法确认访问的网站是否名副其实。网景公司、IETF 以及一批证书机构共同创建了 SSL（后升级为 TLS）这个中立开放标准。任何网站都能从受认可的证书机构获取证书，浏览器则通过不安全站点警告来强制执行该标准。治理权属于 RFC 和开放标准组织，而非某家单独企业。SSL/TLS 最终成为实现电子商务和网上银行的通用信任层。如果网络机器人认证能沿袭这种发展路径，它可能成为支撑智能网络运转的中立协议。
• 谷歌搜索（同样乐观的视角，但存在赢家）。2000 年代，随着互联网成为所有内容和企业的主要入口，谷歌成为信息检索的事实标准。但与 SSL/TLS 不同，这里不存在开放协议或共同治理机制。谷歌通过《网站管理员指南》（现更名为《谷歌搜索基础指南》）制定规则，并通过排名算法强制执行。不遵守规则的发布商排名骤降，随之而来的是网站收入暴跌。 发布商”不得不服从”，但这确实为他们带来了收益！

但关键在于：谷歌赢得搜索大战并不意味着商家或消费者的利益受损。事实恰恰相反——36%的电子商务流量源自谷歌，这助推了数百万企业的创建与成长。在谷歌生态下（尽管”竞争对手仅需一次点击就能到达”），商家和消费者都实现了繁荣发展。我看不出任何理由认为，在假设的 Cloudflare 统治下，代理与商家（或数据提供商、服务提供商等）不能实现同样的繁荣。

存在赢家并不意味着其他参与者都是输家。

其他竞争者必将涌现，因为胜出者将获得巨大收益。或许最大的疑问是：谷歌在这场角逐中究竟置身何处？