计算机使用率提升与智能协作同事的崛起

RECODEX · 深度文章 具身智能

本文信息来源：a16z

想象一下，公司要求你寻找新办公场地——这种差事你避之不及。现在设想将整个流程委托给 AI：从需求梳理、选址调研、看房安排、租约谈判，到处理保险和突发状况，全程无需你参与或下达具体指令。这种能独立完成任务的自主型”AI 智能体 “愿景，长期以来都是该领域的北极星。

然而尽管投入了大量关注与努力，当今的智能体仍与这一愿景相去甚远。现有产品更接近高级的机器人流程自动化(RPA) 工具，而非真正的自主系统。虽然 LLMs 在此领域有所突破，但它们通常依赖复杂的提示工程、精心编排的模型和预定义工作流，例如预设脚本的 CRM 记录更新。

然而最近，我们在实现真正 AI 智能体方面取得了进展，尤其是那些运行于浏览器和桌面环境中的系统。OpenAI 的 ChatGPT 智能体、Anthropic 的 Claude、谷歌的 Mariner 项目，以及 Manus 和 Context 等初创企业的成果，让我们得以窥见专为计算机任务训练、具备人类水平能力的 AI 智能体可能达到的高度。

与单一功能的 AI 工具不同，这些智能体能够通过 MCPs 显式访问或借助计算机使用模型隐式调用更广泛的工具，从而处理完整的端到端数字化工作流程。例如，它们可以自动完成在数据库中定位文档、提取关键信息、更新 Salesforce 系统、通过 Slack 通知同事以及生成合规报告等一系列操作，全程无需人工干预。它们承担了那些通常耗费人类员工精力的幕后”衔接工作”。除了像计算机一样调用 API 接口，当程序化访问不可行时，这些智能体还能像人类一样操作软件——点击用户界面、登录系统、发送文件、使用遗留软件——因此无需大规模 IT 改造或定制集成就能融入现有工作流程。由于这类智能体是在员工层级”即插即用”的，它们可以像人类团队一样按需进行再培训或规模调整。

这些技术进步共同指向一个具有广泛实用价值的应用方向：能够自主处理各类数字化工作的 AI 智能体。

为何计算机使用能力至关重要

计算机操作是真正智能体的关键赋能因素。其效能取决于两大要素：可调用工具的数量，以及跨工具推理的能力。计算机操作在这两方面都实现了质的飞跃——既赋予智能体操作任意软件的广度，又使其具备将行动串联成完整工作流程的智能。

工具可及性： 计算机操作使智能体能够接入人类交互的所有软件，绕过了传统上对 API 接口或手动编程工具的依赖。
推理能力： 基于计算机操作的模型通过端到端的动作序列训练或强化学习进行培养。它们直接在模型层级输出计算机操作指令。这种专用系统的特性使其准确性远超以往方案——那些方案需要拼凑通用型视觉与推理模型才能实现。

计算机使用型 AI 智能体的潜力，源于工具可获取性与推理能力之间的乘数效应。随着智能体获得更广泛的工具集合并同步提升运用能力，其所能处理的工作流程范围和复杂性将呈指数级增长。若再考虑到涌现能力的可能性（即这些智能体可能通过自主探索、检索并综合定制化行动序列中的上下文来解决情境检索问题），发展前景将更加令人期待。

对初创企业而言，人工智能领域的主要机遇在于工作自动化和劳动力成本转化。计算机应用代表了迄今为止在复制人类劳动能力方面最重大的进步。过去的主要限制在于大量缺乏 API 接口或 API 受限的软件工具长尾，这些工具需要人工手动操作。这一挑战在以 Epic、SAP 和 Oracle 等企业核心遗留软件中尤为突出。具备推理能力且能熟练操作图形用户界面的计算机代理有效填补了这些空白，实现了工作的端到端自动化。

我们看到的机遇领域

尽管计算机代理前景广阔，但要在企业间广泛部署并非易事。我们认为，正确实现计算机应用的垂直领域深耕并协助企业采用该技术，将成为初创公司重点探索的方向。

仅接受过通用软件（如 ChatGPT 智能体或 Claude）训练的计算机使用代理，不太可能开箱即用地驾驭复杂的企业软件环境。企业软件通常高度专业化且反直觉，不同公司对同一软件的使用方式也各不相同，会采用定制化的界面、工作流程和数据模型。试想人类员工在入职或学习新软件时通常需要接受多少培训。

正因如此，计算机使用模型需要获取有意义的上下文信息，这与它们的前身——企业聊天机器人和助手类似。如果没有额外上下文或训练，ChatGPT 智能体几乎不可能知道如何操作这样的 SAP 实例：

但在这类场景中为模型提供上下文信息十分复杂。首先，究竟什么才是真正相关的上下文？可能存在书面说明、入职培训视频、浏览器操作记录，某些情况下甚至完全没有文档。其次，向模型传递上下文的最佳方式是什么？这并非简单地在提示词开头添加文本那么简单，因为还需要考虑图形化和时序维度。此处的检索和 RAG 类比物该是什么形态？最后：旧流程是否应该决定新流程？智能体需要参考人类工作方式，但人类的做事方法可能并非最优——智能体应在多大程度上忽略现有上下文，从头重构工作流程？

掌握这些情境化策略的初创企业将在为企业提供高效定制化智能体方面占据显著优势。尽管相关最佳实践仍在探索中，但与模型供应商相比，高度垂直的初创公司更有可能解决这些针对特定行业和企业的挑战。

考虑到这些因素，我们现在从探讨为何计算机使用重要转向其实践落地方式。随后的技术栈展示了参数调优、情境化适配和可靠性保障措施的接入点，这也正是初创企业能够建立差异化的领域。

技术栈：构建计算机使用智能体

计算机使用智能体的架构设计仍是活跃的研究领域——开发者们仍在探索如何划分日益强大的基础模型与辅助工具之间的职责边界。当前主流方案将智能体分层构建，把高层目标转化为可靠的界面操作。随着多模态模型能力提升，某些层级（例如交互框架）是否会最终消失仍是开放性问题。基于视觉（像素）和基于结构（DOM/代码）的两类技术路径正在同步探索，其融合的最佳实践尚未定型。即便如此，下文描述的层级划分仍为注入领域知识、调优行为模式和保障可靠性（即前文所述的核心挑战）提供了切实可行的实施框架。

从宏观层面看，下方技术栈展示了计算机使用代理如何将推理转化为可靠行动。 交互框架决定了模型如何被指令化感知界面并执行操作。模型通过解析像素或 DOM 结构来生成操作指令。 持久化编排确保长时间运行的多步骤计算机使用流程不会中断。 浏览器控制层提供自动化接口，而浏览器本身则渲染代理操作的界面。最底层的执行环境将整个系统扩展为生产级基础设施。

深入探讨每一层：

交互框架： 这类工具为模型提供了与用户界面或 DOM 结构交互的标准化方式。不同框架的核心差异在于控制锚点：OmniParser 将像素输入转化为元素图谱；Stagehand 通过 DOM 过滤的无障碍视图提供 act() 和 extract() 接口；Browser-Use、Cua 和 Skyvern 则结合视觉定位与结构化控制，有效应对界面布局漂移问题。
模型层： 作为决策中枢，负责解析输入并输出操作指令。
- 基于像素的模型： 通过屏幕截图进行操作并生成鼠标/键盘指令。近期行业动态包括：中国视觉智能体（如 UI-TARS、Qwen-VL）在 OSWorld 排行榜持续攀升，开源模型 OpenCUA 逐步缩小与商业 CUA 的差距，混合架构 CoAct-1 性能远超纯视觉方案，尤其值得注意的是 Anthropic 推出的 Claude 4 Sonnet——这款以像素为首要处理对象的顶级模型不仅超越前代 Sonnet 版本，更为通用智能体工作流提供了高效强大的新选择。
- 基于 DOM/代码的 LLMs： 通过处理结构化 HTML、无障碍访问树或程序文本来生成选择器级别的命令和推理轨迹。 根据市场反馈，在许多情况下，仅这种方法就足以完成大多数任务，且往往比基于像素的方法具有更高的准确性和更低的延迟。

持久化执行与编排： 这类工作流引擎能持久保存事件历史记录，强制执行重试机制，并在故障后恢复计算。Inngest 存储步骤输出并仅重放失败片段；Temporal 通过在新工作节点上重放仅追加日志来重建内存状态。Azure Durable Functions 和 AWS Step Functions 在无服务器环境中提供类似的保障机制。
浏览器控制层： 用于向浏览器发送命令的抽象接口。CDP（Chrome 开发者工具协议）目前因其直接、低延迟的控制特性受到”浏览器应用”等场景的青睐；Playwright 和 Puppeteer 虽仍被广泛使用，但其增加的延迟使其在智能体工作负载中实用性降低，导致在计算机应用中的采用率下降。 定制化层如 CUA 则构建了专门针对 GUI 自动化的混合解决方案。
浏览器： 作为界面渲染和智能体操作的执行载体。Lightpanda 是一款轻量级支持 LLM 的浏览器。我们调研的大多数浏览器系统都基于 Chromium，因为它提供了最成熟的开发者工具、稳定的自动化 API 以及对现代网络标准的兼容性。这使得智能体控制集成更为便捷，不过相比轻量级定制运行时也带来了更高的资源需求。
执行环境： 用于扩展智能体会话的云端及桌面基础设施。Anchor Browser、Browserbase、Steel、Hyperbrowser 和 Kernel 部署具备可观测性与回放功能的浏览器实例集群；Scrapybara 通过 API 提供完整 Ubuntu 或 Windows 桌面环境，实现图形界面操作与终端命令的混合使用；Cua 式沙箱模拟终端用户设备以进行训练与评估。

与基础设施层并行，商业化的全栈智能体应用将这些层级整合为连贯的产品。ChatGPT 智能体将 CUA 与托管浏览器沙盒相结合，实现端到端的网络自动化；Manus 在持久化 Linux 环境中协调多个语言模型来自动化企业流程；Simular S2 最近在 OSWorld 平台上取得了领先的自主性评分。最新发布的 Claude for Chrome 通过浏览器扩展将 Claude 嵌入到你的浏览器中，使智能体能够代表你执行操作。这些解决方案将整个技术栈封装在目标导向的界面之后，同时内置了安全护栏和监控机制。

未来：赋能自主协作的智能同事

尽管进展迅速，当前的智能体在能力（难以应对复杂或陌生界面）和效率（运行速度过慢且成本过高，难以与人类操作者有效竞争）方面仍存在显著局限。但我们预计在未来6至18个月内，这两个领域都将取得实质性改进：

能力提升： 增强能力主要侧重于提高智能体在新颖或复杂界面上的效能。在应用层面，可通过限制智能体的操作范围并在推理时提供任务特定上下文或示例来实现。从模型开发角度看，这需要扩大训练数据集和训练规模——主要通过利用监督微调技术、基于安全副本/沙箱中合成交互轨迹的强化学习，以及通过模拟驱动课程和更具代表性的扩展基准来拓宽训练分布。
效率： 提升效率需要降低每次推理周期的成本和延迟。可行策略包括压缩或蒸馏视觉语言模型、应用量化技术、缓存界面元素图以仅重处理变更区域、将常规输入（如简单按键或点击）委托给基于规则的简易控制器处理，以及尽可能使用显式工具调用（即 MCP 服务器调用）。

有效解决这些问题将为真正的自主协作同事铺平道路。最初，我们预计这些智能体将在专业业务职能中表现出色，甚至可以通过实施工作根据特定公司的需求进行定制。这些智能体将能够跨越现有软件堆栈开展工作，优化更高层次的战略目标（例如在预算内获取特定数量的用户，或在特定约束条件下创建预测），而非局限于团队、个人和工作流程的孤岛中。在处理遗留软件或缺乏 API/API 受限的场景时，它们将特别有用。随着新工具和 API 的出现或现有工具的演进，智能体无需大量实施工作即可整合这些资源。

以专注于市场营销、产品管理、财务、销售以及人力资源/招聘的自主协作同事为例：

市场营销： 一个专注于增长与营销的智能体，经过设计工具、广告平台和营销自动化软件的调校，能够自主设计并优化整个营销活动。此类智能体可处理受众细分、创意广告生成、A/B 测试、预算优化、活动监控以及生成深度分析报告。
财务领域： 一个基于会计软件、财务管理系统、支付处理平台、电子表格应用和费用管理工具调校的智能体，可以自主处理财务对账、欺诈检测、预算编制、发票处理以及生成符合监管要求的财务报告等任务。这将减少人为错误，提高财务数据的准确性和时效性。
销售领域： 一个基于 CRM 系统、销售情报平台、沟通外联工具和销售分析软件调校的智能体，能够自主识别高潜力客户、执行个性化外联、安排会议、分析销售通话记录以获取可行洞察，并实时更新 CRM 数据，从而显著提升销售效率和业务推进速度。

将这些领域乃至公司特有的能力与计算机代理可获取的广泛横向技能相结合——例如网络搜索、电子邮件管理、通过 Slack 进行内部沟通、借助 Google Drive 处理文档、使用 Notion 整理内容——将释放出全新功能。这些代理还能处理更定制化和历史遗留的操作，与 API 访问受限的系统集成，这正是计算机应用特别擅长的领域。

这带来了两大关键优势。首先，智能体在掌握更多上下文信息后能更高效地工作。它们能自主收集并整合内外部信息，从而提升任务执行效果。例如，销售智能体在撰写陌生开发邮件时，可以无缝整合来自 Google Drive 的最新产品路线图。其次，这种工具的全面集成简化了部署流程。智能体能自然地融入现有工作流和工具集，无需像传统软件那样依赖专用界面或独立平台，从而降低使用门槛。可以预见在不久的将来，成群的智能体将通过现有记录系统和通信渠道保持同步，与人类同事协同工作。