通过构建达成共识

我们正在打造一款用于评估公司的机器，而检验它的最快方法就是看它是否与我们的判断一致。但要找到真正的答案则需要十年时间。如果刻意让机器的判断与我们相符，它就无法发现那些本应被捕捉到的异常情况。

几周前，我的一位合伙人问我他到底应该记下什么。

我们正在研发一种能够帮助我们评估公司的机器，同时也在设计用于调整该机器参数的机制。所谓调整，就是将机器的推荐结果与我们更信任的标准进行对比，而最显而易见的参考标准自然就是我们自己。因此才有了这个问题。

我并没有一个明确的答案。我能想到的最好办法就是提出两个问题：我喜欢这家公司吗？我会投资它吗？仅凭这两个问题很难做出判断。只有将背后的思考过程写出来，这个判断才有意义，而要将这些思考完整地记录下来才是最困难的部分。即便我们能将其完美地写下来，也依然无法确定自己的判断是否正确。在我们的行业中，要真正弄清楚答案，可能需要十年甚至更长的时间。

我们需要一个与我们意见不同的第六位评估者。

在 NextView，我们早已部署了一个智能系统，用于系统地发掘并评估那些不在我们现有投资网络中的潜在项目。它能帮助合伙人判断哪些公司值得关注。有人可能会认为这属于分析师的工作，而优秀的分析师之间通常也会达成一致意见。这类评估标准大多是明确的，只要使用相同的筛选方法，不同人的名单往往会高度重合。当优秀的人士意见一致时，其中一个人的判断标准便具有合理性，而设计这个系统的目的，正是为了让它能够遵循这样的标准来开展工作。

合伙人工作的性质恰恰相反。六年前我曾写道，NextView 实行的是基于信念的流程，不要求达成共识，一位合伙人的信念即可推动决策。合伙人会议会产生三种结果之一：要么全员热情高涨，要么有兴趣但缺乏热情，要么有人不看好这笔交易，却仍对怀有信念的人说“我支持你”。

中间那种最常见，我们称之为“可做交易”。人人都喜欢，但没人热爱，没有亮点。在我们自己十五年的投资组合中，这种形态是我们学会警惕的。真正成功的投资往往处于两端——要么全场一致看好，要么只有一两个人有真正的信念，而其他人从冷淡到反对不一而足。

该机制刻意反共识，因为共识会过滤掉你正在寻找的东西。代价容易被忽视，因为它落在从未发生的事情上。房间里没人欣赏的东西永远不会被提及，而我们大多不会发现它曾经存在。

我们希望机器成为第六位投票者，以便它能支持我们中任何人都不会支持的事情。将其调校至符合我们的判断，恰恰剥夺了这一点，而一个总是与其他五票一致的第六票，在一个只需一个赞成票的房间里毫无增益。

总得有人来推进这笔交易。如今，智能体展示其推理过程，有时这足以让合伙人借此建立起自己的信念。至于这在更棘手的问题上是否依然成立，我们目前还不太清楚。

结果也无法在有效的时间窗口内解答这个问题。最早期的信号是 18 到 24 个月后的后续融资，这更像是一个烟雾警报器，而非最终定论。而且我们的记录只涵盖最终投资的公司，因此那些未通过的项目几乎没有可供评估的依据。

在《我未曾预见的》一文中，我描述了测试该代理早期版本的情况，该版本在五家公司中仅有一家与我的手工评分一致。我将此解读为该方法失败。而针对我们目前正在研究的问题，我根本无法判断它是出了故障，还是发现了某些我未能察觉的端倪。

一致性只能证明连贯性。

仅凭自我评分只能衡量一致性。关于 AI 系统评估其他 AI 系统规模最大的研究发现，依据一致性来评判会高估其表现，因为偶然的一致也被视为能力。

常见的应对方式是暂不考虑那些已确定的成功项目，以它们作为测试基准。然而，在尚无人知道哪些项目会成功的当下，根本无法将它们排除在外。

我们也无法用已知成功的交易来给机器打分。回测检验的是十年前的我们，而非当下做决策的合伙团队。

为达成一致而调优，异常检测器便会消失。

风险投资人提出的反对意见是，将判断编码化只会放大你自己的盲点。这个反对意见是对的。但这也不是反对编码品味的理由，因为我们的集体经验正是机器击败随机从事同样工作的人的方式。问题在于之后你调优所依据的那个数字。

风险投资的回报遵循幂律分布。只要有一项卓越的回报，就能让整个基金获利；而错失这样的机会，其损失甚至超过支持十家毫无前景的初创企业。因此，机器需要能够识别出那些在两项能力上表现突出、但在另外四项上表现平平的创始人，并将其标记为异常值。而传统的平均化系统则会将这类创始人视为平庸之辈。

稀有事物本就难得，因此该系统识别出的大多都是误报，这反而会降低各方的一致性评分，而实际上我们开发它的目的正是为了能够捕捉到那些真正的稀有高价值项目。负责调整模型的人根本无法区分真正的异常信号与系统故障，从设计上来看，这就已经形成了共识。并非有人刻意选择了这种偏差，只是现有的最快检测方式导致了这样的结果。

随着不断调整，预警信号逐渐消失，而共识率则持续上升。人们会认为机器的性能正在提升，于是便打造出了一个极为可靠的工具，用来筛选那些本来就会选中的公司。

在目前使用的系统中，我们已经采取了某种补救措施：我故意不会过度严格地设定模型的指令，以避免过度追求一致性，这样那些形态特殊的初创企业也能被纳入评估范围。该系统需要满足两个条件：一是要为“异常值”标记设置独立的处理路径，无论整体评分如何，这类异常情况都能被上报给人类评估员；二是要将该标记被触发的频率与系统达成一致意见的频率同时显示出来，这样一来，当因为过度追求一致性而导致某一项指标下降时，就能有人及时发现这一情况。

开始录制吧，这内容十年后也读不懂。

在《判决层》一文中，我指出当反馈无法及时到位时，自我改进的循环就会停止。但这一框架并未涵盖即便坚持处理那些存在分歧的案例时会发生什么情况。目前唯一可行的快速检验方式就是看机器是否与我们意见一致，而意见一致本质上就意味着达成共识，这样一来，这种检验方式又会把我们原本试图规避的问题重新带回来。

该记录必须包含会议召开时的已知信息、机器的分析结果、合伙人组的决策，以及那些被放弃的投资项目。大多数基金并不会以便于评估的形式留存最后这些信息，因为正如我的合伙人大卫在《复制问题》一书中所说的“晚餐时讲述的战争故事”并非数据集。只要将所有内容都完整保存下来，最终的实际情况自然就会用来对机器、合伙人组以及会议决策本身进行对比评估。此外，记录中的推理过程还能帮助人们判断某次成功的投资决策是源于精准的判决，还是纯属运气使然。

真正的问题不在于该模型是否足够好。

这一规律在任何那些罕见例外情况具有高价值且决策需要长时间才能做出的领域都同样适用。模型真的能够承担这类工作吗？按照现有的提问方式是无法给出答案的。在未来的十年里恐怕没人能确定，因此在我们现有的所有评估指标下，优秀的模型与劣质的模型看起来并无区别。

我也不例外。在《结构性分歧》一书中，我给出了低于 10%的错误率，以此作为我们所开发的系统确实有效的证据。对于“哪些公司值得合伙人关注”这一问题而言，这样的错误率是合理的。它也是用于解决更复杂问题时的最自然数值，同时也是我最容易犯错的领域。

标准从来就不是与我们的意见一致。而是要求他们具备合伙人级别的判断力，而且处理的数量我们根本无法人力覆盖，招聘时也无法对个人的能力进行验证。我们会了解其思考方式、考量其过往表现，然后交由他们来做决策，尽管我们知道答案要十年后才能知晓。而模型没有其他方面的历史记录，因此它的推理必须更具说服力。现在就要审视其推理过程，以后再以结果作为评判标准。一致性并非这项测试的考量因素。

这些模型不断得到改进，使用它们的成本也对所有人来说越来越低。你需要将自身的判断编码进去，并通过记录来对其进行评估。其中的任何问题都会随着规模的扩大而显现，因此最糟糕的结果并非选择不采用这类系统，而是带着显示“系统正常运行”的仪表板继续扩大其应用范围。

《Ground Truth》系列之前的文章：《共识机器》（探讨为何随着自动化技术的发展，价值会转向那些非共识性的工作）。

我的合伙人大卫在《Carried Away》中从另一个角度探讨了这个问题。他在文中指出，那些经过系统化的筛选标准虽然可以被检查、根据实际结果进行评估并加以改进，但仍然无法确定它们是否真正能够捕捉到关键因素。这仅仅是衡量环节的第一步尝试而已。