代理时代

作者：Amias Gerety

代理时代已经到来。两年前，我对互联网上的数据抓取还有些概念，但从未想过自己会亲自去做。就在过去两天里，我已经创建了三个不同的互联网机器人，从网络上抓取各种数据，并将其导入我正在进行的项目中。

过去一年，名为 Playwright 的领先开源浏览器工具周下载量从 2024 年到 2025 年增长了逾 235%。如今，其周下载量已超过 3000 万次。如果你运营着一个热门网站，就会知道，有些代理是你希望拥有的，另一些则是诈骗者。无论哪一种，这都令人不寒而栗，并让你的流量成本飙升。它们是在攻击你，攻击你的服务器，感觉完全就是一种攻击。

在此之前，网站需要担心的自动化访问只有一种。它叫作机器人，而且几乎总带着恶意。可能是诈骗者，可能是窃取你数据的人，可能是试图复制你网站的人，也可能是发动 DDoS 攻击的人。无论怎么看，机器人都不是你乐见的东西。极少数情况下，它是 Google 在索引网络内容、帮助你被发现。当然，这没问题，但无论如何，你都知道，机器人及其流量是你想要避开的。

互联网上的每个网站如今仍然是以同样的方式搭建的：为了识别机器人，并且主要是为了阻止机器人。

但在 AI 时代，尤其是在 OpenClaw 时代，机器人不再只是诈骗者。机器人也是你的客户。它们代表着一个个真实的人。它们是初创公司。它们是下一代 AI 智能体。它们也是一种智能体引擎优化方式。它们是你被发现的途径。互联网上有很多建议，教你如何确保自己的网站真正对机器人可见，但你仍然不确定该怎么做。

音乐发现

我不太算是个懂音乐的人。我在卡拉 OK 里雄心勃勃、热情高涨，但没人会觉得我是潜伏的摇滚明星。我的家人都很有音乐天赋，我的几个哥哥还一起组过一支乐队，持续了十年。他们差一点就出名了。他们曾经在日本红过一阵 。他们还登上过挪威独立杂志的封面。关于音乐，我所知道的一切几乎都是从哥哥们那里学来的。正因为他们，我一直觉得 U2 不够酷，Billy Joel 又太过用力。也正因为他们，我不喜欢 Bruce Springsteen，却喜欢 T. Rex 和 Love。

直到 19 岁、我用上 Napster 的那一年，我才第一次真正自己去发现音乐。在那之前，发掘音乐对我来说实在太贵了。我买过一张 INXS 的 CD（多俗啊），我哥哥们则在圣诞节送了我一张 Led Zeppelin IV。

有了 Napster，发现音乐变成了免费的事。我把能找到的 Prince 的每一首歌都下载了下来。结果我发现自己爱上了 Prince。而且不只是那些热门单曲。我连那张以他那个无法念出的 Love 符号名义发行的《Rave Un2 the Joy Fantastic》也很喜欢。我从来没买过一张 Prince 的 CD。

Napster 时代令人惊叹，但它注定无法持续下去，事实也的确如此。大多数人并不想成为罪犯，所以当 Napster 被关停、我们的大学与有关部门合作封杀 LimeWire 和 BitTorrent 时，我基本也就放弃了。一旦通过 Apple Music，以及后来的 Spotify 和其他流媒体服务，付费变得足够方便，我们也就这么做了。在 Spotify 上，我想听多少 Prince 的歌都可以。

说回机器人。

基于浏览器的自动化显然是一个重大的突破。既然可以直接让一个代理替你在网上梳理信息，为什么还要等所有人都去构建 API，为什么还要争论 MCP 还是 CLI 更好？而且，它的应用场景并非无足轻重。

如果你正在创办一家初创公司，而你的老牌竞争对手有多年客户数据被困在自己的数据库里，计算机使用代理就可以系统性地提取这些数据。想获取任何类型的半公开数据？比如你所在社区的犯罪情况、遗产拍卖清单、运动鞋优惠信息？基于浏览器的自动化，就是你踏上这段旅程的第一步。

我刚刚听了一期很棒的播客，Lenny Rachitsky 和 Claire Vo 谈到了她如何从 OpenClaw 的怀疑者，转变为在自己生活中运行九种不同 OpenClaw 代理的人。她说：“我不认为真的有人已经解锁了浏览器使用……开放网络对机器人设置了太多防线。” 基于浏览器的自动化仍处于 Napster 时代。

我们对基于浏览器的自动化感到无比兴奋。我们的许多投资组合公司都在构建自己的抓取器和脚本代理，另一些则在使用 Deck.co、Supergood、来自 OpenAI 和 Perplexity 的 Chrome 代理化版本等领先的非 API/API 公司产品。它们也在使用 BrowserBase 这样的开源解决方案。而风险投资资金正蜂拥而入。

我对投资这一类别感到非常振奋，但有一件事让我担忧。

猫鼠游戏只有在“老鼠”保持弱小时才能持续下去——也就是它们必须保持灵活、低调，采取游击战术。但你不可能靠游击战术打造一家大公司。

我试过用 DocSend 破解工具，但卖给我这东西的开发者一直在东躲西藏——而那些能做到这一点的扩展程序也总是在应用商店里不断被下架。LLMs 不会让我随手写代码自己做一个。你没法在那上面构建真正的生意。做这些工具的公司几乎都谈不上真正存在，这样他们就能避免被起诉。

Perplexity 刚刚以一种惨痛的方式发现了这一点。尽管这还只是诉讼的第一回合，法官已明确表示，Amazon 的确拥有自己的网站，并有权执行其服务条款。用户同意并不足以让 Perplexity 访问 Amazon 的服务器。事实上，Perplexity 这种猫捉老鼠式的策略—— 在 24 小时内绕过 Amazon 的拦截措施 ——被明确点出，表明他们确实站不住脚。

最好的反例是 Plaid 和其他金融数据聚合商。它们一直被银行指控违反服务条款，直到今天，围绕 Plaid 及其他聚合商所采取策略的正当性，以及银行阻挠它们的做法，仍存在争议。但那时与现在有两个重大不同。其一，消费者显然站在 Plaid 一边；其二，它们在道义和法律上都可以主张，那是属于他们自己的数据。Dodd-Frank 法案第 1033 条 至今仍未落实，令人遗憾，但无论如何，威慑始终存在。

我们的投资组合公司之一，Hydrolix，提供业界领先的网站流量压缩与分析服务，包括机器人检测。他们指出，“猫捉老鼠”这一整套概念可能并不适用于新的范式。代理身份平台大多假设，代理将由大型 AI 公司以明确意图签署，而这些公司拥有清晰的意图和可承诺遵守的防护措施。

但如果数以百万计的终端用户都在编写自己的工具，这种概念上的区分就开始瓦解。你奶奶也完全可能用氛围编程写出一个无限循环，其表现和行为看起来都像一次恶意的 DDOS 攻击，尽管她只是想给一双漂亮的 Hokas 找个优惠。与此同时，Perplexity 与 Amazon 之间的诉讼表明，这两家巨头之间显然存在不少敌意。正如 Hydrolix 首席执行官所说：“从伦理上讲，人们该如何区分一个写得糟糕但用意良善的代理，与一个写得精良却心怀恶意的机器人？”

即便是“好/坏”的二元划分，也低估了其中的复杂性：像《Times》这样的付费出版物会将机器人流量视为收入流失，而咨询公司则渴望借此扩大传播，电子商务公司最关心的主要是购买意图。随着我们把视线拉向未来，设想一个代理流量比人类流量大 10 倍的世界，届时激励机制将彻底逆转。代理宁愿调用结构化 API，也不愿抓取网页。这些不同类型的网站将如何优化自身，以服务下一代互联网？

浏览器端自动化或许就像人们手写机器码——这种技能在计算史上只在极短一段时间内具有价值。最终，我们将不得不根据机器人所执行的工作及其代表谁来理解它们。

记住 Stein’s Law

“如果某件事不可能永远持续下去，它终将停止。”当好人也像坏人那样行事时，这个体系就无法维系。

如今，基于浏览器的自动化公司正在胜出，而代理身份公司则陷入冷冻期，受困于冷启动。眼下，在这场猫鼠游戏中取胜，就是护城河。

但把时间快进。在 AI 出现之前的世界里，只有恶意机器人和人类。如今出现了第三类：善意机器人。很难想象，善意机器人最终不会找到一种稳定而可靠的方式来实现自我区分。

智能体活动已经出现，但距离真正的智能体经济还很远。它如今仍处于“Napster 时代”——规则缺位、风险高企，带着黑客色彩的行为正在开启新的秩序。智能体经济终将到来。它无疑会喧嚣嘈杂、无序纷乱，但届时，合规的优质智能体将有清晰的准入通道。它们会出示自己的资质，也会支付应缴的通行费。

没有人喜欢违法，我甚至在19岁时都不喜欢这么做。即便法律边界尚不清晰，任何一家有规模的公司都会雇用律师，防止公司陷入诉讼。

我是金融科技投资人。我深知，金融是实体经济的下游。我的机会，取决于那些本应发生却找不到实现路径的经济活动。随着智能体经济浮现而产生的每一个摩擦点，都是我的机会。如果你正在这个领域创业，来找我。