用户建模战争
原文：The User Modeling Wars
作者：Rohan Virani, VC @ Amplify
来源：SandHill.io #299 推荐阅读 · Investment Themes & Theses
过去几年，人机交互（human-AI interaction）已经取得很大进展。多轮对话、语音模型、记忆与持续学习（continual learning），都是迈向与基础模型丰富体验的重大步伐。
然而，我们仍缺一项独特能力——主动性（proactivity）。当我们打开 YouTube、登录 Amazon，甚至打开 Wells Fargo App 时，系统已经建好了丰富的用户模型，来预判我们的需求。它会浮现我们可能想要的内容、商品和优惠。
AI 今天极度缺乏这一点。
当我们进入一个「采取行动」变得丰裕的世界，最有价值的资产并不是采取行动！
而是知道应当采取什么行动，何时采取，或者到底该不该采取行动。
提示（prompting）的负担不应完全落在用户身上，而应与模型本身平分。完成的任务，应当覆盖我们甚至不知道自己有过的问题。
在这篇博文里，我们深入支撑这一产品议程的 HCI 研究史，从 1990 年代的 Eric Horvitz 和 Marc Weiser，到最近真正训练基础模型去预判人类行动的通用用户模型（General User Models）。如果我们是对的，这可能成为未来十年争夺最激烈的数字地产。
基础模型就是产品
第一代语言模型并不是能干的助手。
2019 年 GPT-2 发布时，它严格限于文本续写。你提供一个句子或段落的开头，模型自动补完其余。如果你问「法国的首都是什么？」，token 回来的是「Paris is the capital of France, and…」后面跟着大量你从没问过的信息。
扩大预训练数据与算力，产出了 GPT-3，它掌握的知识多得多，并能做少样本提示（few-shot prompting）。在新问题旁边提供几个问答对，模型就会推断模式并给出答案。
然而提示格式极其脆弱。间距、分隔符或多余字符的最微小变化，都会剧烈改变答案分布——因为，再说一遍，这个模型并不是被建成来回答问题的。从这些系统里哄出正确上下文是如此令人沮丧，以至于我们为能做到这件事的人发明了一个同名职位：提示工程师（prompt engineers）（短命）。
直到指令微调（instruction tuning），以及 InstructGPT 又一轮监督微调，模型才在设计上成为问答系统。ChatGPT 又加了一阶段 RLHF，让回答在语气、风格和安全上与人类偏好对齐——正如人们所说，其余就是历史了。
如果要从这段 LLM 迷你回顾里抽出一条教训——除了规模很重要这个显而易见的点——那就是：目标函数的改变，以及敏锐关注人类应当如何与 AI 交互，才让基础模型民主化。原始能力与丰富表征，直到通过正确的界面暴露出来、并预判一个人实际想如何使用底层系统之前，意义都不大。
人们用的是产品，不是能力。基础模型是研究与工程奇迹，但它们也仍然是产品。
人机交互的未来
过去三年，在基准测试指数级进步的同时，我们在这个确切领域也取得了真正进展：不只是底层能力，还有人类如何与 AI 模型交互。值得简要盘点研究者在短短几年里完成了什么：
为多轮交互做的后训练，确保当初始提示和检索到的上下文可能并不包含它们所需的一切时，Agent 可以在完成查询之前向人类或环境提出澄清问题。今天让 Claude 设计一套健身计划，它会先确认你的体重、身高和当前活动水平，再继续。
多元对齐（Pluralistic alignment） 训练模型不要产出一个被平均过的单一「真相」，而是尊重人类持有多样的价值、文化、偏好与规范。一篇 2024 年的立场论文提供了三种方法的有用分类：
- Overton 多元主义，在不存在共识之处，模型呈现一系列合理答案。
- 可引导的多元主义（Steerable pluralism），用户可以把模型导向某个特定人口视角。
- 分布多元主义（Distributional pluralism），模型输出匹配目标人群观点的统计分布。
记忆 现在让先前的人机交互在新对话中对模型可用。更早的上下文对后来的任务常常有用，也免得人们反复重述自己。
持续学习 虽仍处早期，但可以让模型从人类反馈中在线改进，从而停止重复过去在内容、风格或判断上的错误。Cursor 今年早些时候发表了一篇关于其「实时 RL」系统的有趣文章，每五小时把用户反馈中的信号蒸馏进一次新的模型更新。持续的 harness 更新同样有效，而且两者经常一起使用。
语音 终于是比文本带宽高得多、也更自然的通道，并且日益成为人机交互的中心。这里最近最令人印象深刻的工作来自 Thinking Machines 的交互模型（interaction models），它们允许人类打断模型输出，也允许模型在我们仍在说话时主动插话。
混合主动用户界面的原则
当全世界的研究者继续丰富人机交互时，这个展开中的议程最惊人的一点，是它看起来多么不原创。早在 30 年前，上述几乎所有工作都已有真正先例。
1999 年，微软研究员 Eric Horvitz 发表了一篇题为「Principles of Mixed-Initiative User Interfaces」（混合主动用户界面的原则）的论文。Horvitz 做用户界面研究，他试图构建在两类东西之间取得平衡的系统：增强用户行动能力的工具，以及代表用户在后台自动化行动的 Agent。由此，他得出了一份建造 Agent 的十二点议程：
- Agent 是否提供了显著的增值自动化？
- 系统是否考虑用户目标上的不确定性，然后利用关于其意图与焦点的不确定性？
- Agent 是否按其注意力来为自动化选择时机？
- 鉴于以上，采取一项行动的期望价值是否值得？
- 用对话来消解不确定性，权衡打扰用户的成本。
- 用户仍必须能直接调用或终止一项服务。
- 最小化关于行动与时机的糟糕猜测的成本。
- 逐渐降低服务精度，以匹配当前不确定性。
- 提供机制，让用户完成或精炼分析。
- 采用社交上合适的行为。
- 保持近期交互的记忆。
- 随着系统被使用而持续改进。
你大概已经看出来了，这些点与我们当前议程的贴合程度令人惊叹。第 5 点说的是多轮交互。第 6 点是 Agent 运行时出现的停止按钮。第 9 点与给予用户对其代表自己所采取行动之控制权的生成式界面重叠。第 10 点是多元对齐，第 11 和 12 点就是记忆与持续学习，一字不差。
Horvitz 在论文后部强调多种交互模态的重要性，明确主张计算机应当减少「鼠标和键盘交互」，并用「文本转语音」以自然对话与用户接触。甚至我们当前在语音模型上的工作，也被他的框架所涵盖。
Weiser 与通往主动性之路
再看近一点，我们议程里显著缺失、却在 Horvitz 那里处于最前面的，是第 1 到第 4 点。让我在这里复述：
- Agent 是否提供了显著的增值自动化？
- 系统是否考虑用户目标上的不确定性，然后利用关于其意图与焦点的不确定性？
- Agent 是否按其注意力来为自动化选择时机？
- 鉴于以上，采取一项行动的期望价值是否值得？
在一项任务被调用之前，系统能否推理用户到底想不想做它、应当何时做、以及能否在后台完成而不打扰他们？换句话说：为什么不能是模型为我们主动，而总是人类提供相关任务或问题、AI 再对我们作出反应？
即便在 1999 年，建造主动计算机系统的想法也并不新。
人机交互史上最著名的文章之一，是 Mark Weiser 1991 年的经典「The Computer for the 21st Century」，它创造了「普适计算」（ubiquitous computing）这个词。Weiser 主张「最深刻的技术会消失」，并相信我们应当建造隐入背景、并知道我们何时需要它们的系统。具体到购物，他想象过一种计算环境，「知道你上周盯了很久的那套西装」，并且能「事后浮现设计师的名字，即便当时你对它并不感兴趣」。
Horvitz 本人做过臭名昭著的 Microsoft Clippy 背后的贝叶斯框架。历史或许把它记成科技最大的梗之一，但底层前提——计算机应当建模用户、并提前知道如何帮助他们——是高尚的，而且超前于时代。
不幸的是，我们尚未把这一哲学有意义地桥接到基础模型的世界。
通用用户模型
斯坦福最近的工作开始推动这一转变，从 2025 年 Shaikh 等人的「Creating General User Models from Computer Use」开始。
用户建模是系统为一个人的目标、偏好、技能与背景建立内部表征的过程。最早的方法是基于规则的，手工写进 1970 年 SCHOLAR 这类系统，它会在教育软件里按学生调整教学。偏好按用户显式存储，因此当学生答错时，系统可以系统性地推断原因再回应。
在网络时代，数据量的冲击把这个领域从显式模型推向统计模型。主导方法曾经是、现在也仍然是协同过滤（collaborative filtering）：把每个用户的信息存成矩阵的一行，例如评分、点击、点赞，再用基于相关的方法推断他们对从未见过的内容会如何反应。虽然看似简单得骗人，它却极其好用。
在基础模型时代，我们现在似乎有了字面方法与统计方法的混合。Shaikh 等人的系统从对长程屏幕使用的观察中推断偏好。它包含三个模块，在基础模型的能力与可检查性、快速编辑的价值之间取得平衡。
- Propose（提出）模块 摄入屏幕活动流，并产出带置信度权重的命题，关于用户接下来可能做什么，例如「Rohan 将在下一小时内关掉 Google Docs」。
- Retrieve（检索）模块 存储这些命题，并针对给定查询把它们浮现出来，例如「Rohan 在接下来 24 小时会做什么」。
- 最后，Revise（修订）模块 随着新观察到来而更新它们，因为可能结果是 Rohan 在 Google Docs 上待得比一小时更久……
作者把用户建模系统独立于任何产品来建造，然后在其上做了一个叫 GUMBO 的应用，用这些模型通过推断用户未来的欲望与需求来主动协助用户。具体而言，系统权衡用一条建议打断用户的成本与收益，然后浮现从他们该买什么到他们该注意什么的建议。
这项工作之所以迷人，是因为它彻底去掉了对提示的需要。它让用户不必学习如何最好地使用 AI，因为 AI 天生理解自己如何能最好地帮助他们。为什么我还要去找下一场 Royal Albert Hall 音乐会的票，如果我的用户模型已经知道老板大概下周要派我去伦敦？
用户模型将会无处不在，但不应当被孤岛化
我们已经在垂直 Agent 应用里看到主动性的苗头。今年早些时候，Decagon 发布了 Proactive Agents，详述了一种超越处理呼入电话、去自动化呼出电话的方法，其逻辑由 Agent 操作规程定义。公司还分析过往客户交互，以识别改进支持的机会，例如在某人生日附近打电话给促销。这种方法大体上仍是基于规则的，但要主动去建造的意图一目了然。
我预期会在所有地方看到这一点。每一个垂直 Agent 应用都会纳入某种程度的用户建模与主动性，正如它们今天都纳入多轮交互、语音和其他人机交互面向。在一个给定工作区里，无论是 Harvey 里的法律工作还是 Sierra 里的客户支持，企业与消费应用都会为用户建立日益丰富的模型，平衡 Horvitz 所说的后台自动化与增强用户自己完成任务能力之间的权衡。
但它们每一个都只在建模一个人世界的一个碎片。一个人身上真正有用的丰富洞见，大多数并不住在单一应用里。它们住在应用之间。观察我工作时在 Google Docs 上的屏幕使用，或社交生活里在 iMessage 上的使用，可以为 Google 或 Apple 各自带来关于我行为切片的具体帮助与先见，但它将永远无法捕获我意图与存在的总体。
- 我是不是在工作上花了太多时间，而我答应过妹妹要帮着策划父母的周年纪念？
- 看起来我是不是正在迷上一项新爱好，应当换职业？
- 这个月我是不是听 Oscar Peterson 听得不够？
- 我为这篇博文研究过的那本书是不是也在附近打折，能不能把它折进我周日早上的杂事里？
这些问题没有一个能由单一应用单独回答。它们是操作系统层面的洞见。最好的用户模型会跨所有应用观察连续的屏幕使用，并在适当时介入，适应我们如何跨越职业与自我之间的边界去思考和行动。
用户建模战争
操作系统层面的跨应用用户建模将具有巨大价值。在一个采取行动与潜在洞见生成变得海量的世界里，最有价值的产品是那个不经我们询问、就把正确行动、正确应用、正确的后台自动化浮现给我们的系统。那个我们不知道自己需要、却为我们一天增加最多价值的东西。它会观察我们在 Granola、Cursor 和另外数百个垂直 Agent 以及传统软件里的行动，并适应无论我们碰巧有怎样的习惯。
我愿意冒险说：我认为这将是未来十年竞争最激烈的地产。
1990 年代，在上一轮重大技术超级周期诞生时，浏览器被视为计算中最有价值的商品。它是通往网络、通往其上任何站点的门户，因此是价值会沉淀的地方。从 AOL 到 Netscape 到 Microsoft，每家公司都试图赢下那一层，随之而来的争斗如此凶狠，以至于赢得了自己的名字：浏览器战争。
如果我是对的，我们即将进入一个可怕的用户建模战争时代，世界上最有价值的地产不再是谁控制通往网络、应用、信息的门户。甚至不是谁控制通往「智能」以及最能干的长程计算机使用模型的门户。抱歉了，大实验室。计算机使用环境中的模型能力将日益被视为商品，如果你观察中国开源的增长，它们已经是了。
它是谁控制通往你、你的偏好、以及比你更了解你自己的门户。
把那个建出来，你就能比任何人都更快、更好地把价值交付给用户。把话绕回来：是的，你也会做出最好的产品！
要把这件事做对比我们需要什么
用户建模前面还有几项重大挑战。
首先，在用户甚至还没有与之互动之前，我们应当用什么原则来对齐那些将在一生中引导用户行为的系统？我自己的偏好是建造一个博学者的世界，承 Emerson《美国学者》的传统：「人不是农民，或教授，或工程师，他是全部。人是祭司，是学者，是政治家，是生产者，也是士兵」——但这个问题有许多其他答案。
Agent 安全同样至关重要。一封被用户模型摄入的钓鱼邮件可能腐蚀一条已存储的偏好，并产生混淆代理攻击（confused-deputy attack）。时机同样重要：越界并试图完成超出其能力之任务的系统，就是我们如何得到 Clippy 2.0。
也许最重要的是，延迟必须降下来，好让应用能快速查询用户模型，而不是花一分钟在偏好的文件系统里搜索，错过帮助本会起作用的窗口。
说了这么多，我对一个用户模型无处不在的世界感到兴奋，更兴奋去见那些在思考它们、建造它们的人。如果那是你，欢迎联系，让我们把基础模型变得主动起来！
本文由 RecodeX 编译自 SandHill.io #299 推荐阅读，原文链接与作者见文首；原文版权归原作者所有，译文仅供学习交流，如有异议请联系我们处理。
