浏览器代理与代理化网络
本文信息来源：akashbajwa
上周我们主持了一场关于浏览器智能体现状的圆桌讨论——这是一个及时的讨论，因为互联网的商业模式正在为智能体网络而发生演变。
我们从浏览器自动化历史的快速巡览开始，从 1990 年代网络自动化的早期阶段到 Selenium 在测试/QA 领域的革命，再到 2010 年代的无头浏览器，一直到当今 AI 原生浏览器自动化平台的时代。
无头浏览器让大规模自动化在计算上更加高效，而像 Browserbase 这样的新一代供应商提供了托管基础设施，利用 LLMs将自然语言指令翻译成 Playwright/Puppeteer 代码，并有一个回退策略来利用计算机视觉模型，用于无法定位页面元素的情况。
这显著推进了浏览器代理的帕累托前沿，但这项技术距离在生产环境中完全自主运行仍相距甚远。
Web Bench 测试表明，尽管我们在"只读"任务（需要搜索和提取信息的任务）方面取得了很大进展，但对于需要写入、更新、删除或文件操作等更复杂工作流程的准确性却急剧下降。这类任务所需步骤数量的急剧增加暴露了当前代理的不足之处（即内存问题）。
两种失败模式是：
- 智能体能力（例如幻觉、会话长度、导航）
- 基础设施（验证码、登录/认证、代理）
以此作为讨论的基础，我们在接下来的一个小时里涵盖了很多内容。
验证码处理
这是一个根本性的挑战——这是一场持续进行的猫鼠游戏，将不断演进。
- 自动化解决方案可以处理约 90%的常见验证码（v1、v2），但 v3 验证码和高级防护（Cloudflare）仍然具有挑战性——稍后会详细介绍
- 人工验证码服务可作为后备方案（来自更便宜的劳动力市场）
- IP 白名单使用日益增加——大客户与平台协商将自动化 IP 加入白名单
- 代理层次结构 ：移动代理 > 住宅代理 > 数据中心代理，用于避免检测
技术架构
对于专注于文档对象模型（DOM）操作的方法：
- 无障碍树需要激进的修剪（20 万→1 万个 token）
- 修剪技术 ：删除 URL、重复元素、截断长文本、添加参考编号
- 分层回退 ：确定性脚本 → 基于 DOM → 基于视觉 → 操作系统级交互
- 使用的视觉模型来自 OpenAI 或 Anthropic
评估
- LLM 作为评判者需要大量的人工评估
- 评判可靠性 ：评估准确性完全取决于评判质量——不可靠的评判者会使指标变得毫无意义
- 失败模式分析 ：针对观察到的失败模式编写具体的评估
- 规模考虑 ：生产系统需要每日运行数千次评估
内存与优化：
- 轨迹优化 ：分析成功运行的案例以创建优化路径
- 提示工程 ：基于失败模式添加具体指令
真实应用包括财产保险报价（Meshed），将报价时间从一小时缩短到 9 分钟，浏览器代理有效地充当初级经纪人的角色，在遇到困难时会寻求人类协助。
一个总体结论是，鉴于不准确性可能导致的经济损失巨大，人机协作架构在可预见的未来将继续存在。
没有人见过浏览器代理实际支付商品或服务费用，因为这会让开发者承担 PCI 合规的负担。
这就引出了 Cloudflare 上周的公告。
Cloudflare 在新互联网经济中的定位
正如 Ben Thompson 比大多数人写得更为雄辩的那样， 广告是人类网络的完美商业模式 。
最初的网络是人类的网络，广告曾经是也仍然是将数字领域唯一稀缺资源——人类注意力进行变现的最佳方式之一。激励机制完全契合：用户能够免费访问大量内容和服务。内容创作者能够触及最广泛的受众，因为访问是免费的。广告商有机会找到原本永远无法接触到的客户。
智能体网络打破了这种商业模式，因为消费者转向了答案引擎或像 ChatGPT 这样的智能体，这些智能体本身会消费发布商的内容来生成答案。智能体当然对广告无动于衷，这破坏了广告支持的新内容生产管道。
对于 OpenAI，获取流量的难度比过去的 Google 高出 750 倍。对于 Anthropic，难度则高出 30,000 倍。
由用户、广告商和发布商组成的长期互联网市场正在迅速消亡。 目前仍不清楚什么将取代它。
Cloudflare 意识到自己通过在 CDN 市场的主导地位所处的有利位置，宣布了他们对代理网络的愿景 ：
- Cloudflare 的客户默认阻止 AI 爬虫，除非它们为其内容向创作者付费
- 一个新的市场机制，发布者将根据其内容对知识缺口的贡献程度获得奖励，而非基于流量——这将激励创作更高质量的内容
- 按爬取付费"与现有网络基础设施集成，利用 HTTP 状态码和既定的身份验证机制来创建付费内容访问框架。"
虽然 Cloudflare 的公告专门针对 AI 训练爬虫而非任务自动化代理，但技术现实更加复杂。我们圆桌讨论中的浏览器代理构建者已经在应对复杂的反机器人措施，这表明"合法自动化"与"不受欢迎的爬取"之间的界限更多存在于意图层面，而非技术实现层面。
无论 Cloudflare 的按爬虫付费模式是仅限于内容抓取，还是扩展到涵盖所有自动化网络交互，都将决定其对代理网络的真正影响。
数据
新兴的' 生产资本家 '阶层是否会为 AI 资本支出提供所需资金？
人工智能人才争夺战才刚刚开始
技术扩散正在加速
上下文长度增加会降低性能 - 对 RAG 有重大影响
