AI 驱动的网络攻击正在增加，你准备好了吗？

2025 年 3 月，Anthropic 首席执行官兼联合创始人达里奥·阿莫代(Dario Amodei)表示，AI 很快就会编写大部分甚至全部代码 。"我认为在三到六个月内我们就能达到 AI 编写 90%代码的水平，"阿莫代说道。"然后，在 12 个月后，我们可能会进入一个 AI 基本编写所有代码的世界。"如果这一预测成真，软件开发将不再受限于开发人员数量，成为一种按需资源，最终导致世界上软件数量的大幅增长。

这一未来既有积极面也有消极面：一方面，软件数量增多了；另一方面，软件数量也增多了。生产力提升 10 倍意味着软件数量增加 10 倍，这大致意味着我们已经习惯的漏洞数量也会增加 10 倍（如果不是更多的话， 研究  表明 AI 辅助编写的代码 bug 率高出 41%）。

然而，我们的粗略计算到此为止。AI 生成的软件可能会创造更大的攻击面和更多潜在漏洞，但一旦我们考虑到 AI 驱动的黑客，风险规模会进一步扩大。黑客已经在自主代理的帮助下改变了网络攻击的经济性和速度。

一个重大而不可避免的头条新闻正在酝酿：AI 驱动的黑客将让某家大企业措手不及，利用他们在没有 AI 协助下无法发现的漏洞，窃取资金或数据，制造病毒式新闻事件。然而，这一事件也将为能够为首席信息安全官(CISO)和首席技术官(CTO)提供同样自主防御系统的创业者带来潜在机遇，在下一次数据泄露成为新闻之前堵住漏洞。

我们的目的不是制造恐慌，而是强调机遇。特别是对于创始人来说，这是一个呼吁，要在 AI 安全性和可观测性方面进行构建，帮助首席信息安全官、首席技术官和安全负责人做出明智的决策。我们从研究开始。

AI 安全研究概览

AI 的变化速度让每份报告都成为一个时间戳，但有两篇最近的论文脱颖而出，不仅因为它们的发现，还因为它们对该领域的影响。

AI 代理可以利用现实世界的漏洞

在一篇题为 CVE-Bench: A Benchmark for AI Agents' Ability to Exploit Real-World Web Application Vulnerabilities 的论文中，研究人员发现 LLM 代理"越来越能够自主进行网络攻击"，这种风险凸显了"迫切需要一个真实世界的基准来评估 LLM 代理利用 Web 应用程序漏洞的能力"。

研究人员创建了 CVE-Bench，这是一个依赖于关键严重性通用漏洞披露(CVEs)的实用网络安全基准。通过 CVE-Bench，研究人员能够构建一个沙盒框架，为 LLM 代理提供了在高度模拟真实世界条件的场景下发现和利用 Web 应用程序漏洞的空间和能力。

如上图所示，LLM 智能体能够利用高达 13%的零日漏洞和高达 25%的一日漏洞。

LLM 智能体可以测试和执行长期攻击计划

在另一篇论文《LLM 代理团队可以利用零日漏洞》中，研究人员发现"LLM 代理团队可以利用现实世界中的零日漏洞"。

以前的研究表明，LLM 代理在获得漏洞描述或解决玩具式"夺旗"问题时，能够利用现实世界的漏洞。在本研究之前，尚不清楚代理是否能够利用它们事先不知道的漏洞（比如零日漏洞）。

在这项研究中，研究人员引入了分层规划和特定任务代理（HPTSA），这是一个代理群，包括一个具备系统探索能力的规划代理、一个确定调用哪些子代理的团队管理器，以及一组在利用 SQL 注入或跨站脚本等特定漏洞方面具有专业技能的特定任务代理。该系统可以生成假设（例如，"这个端点容易受到这种攻击"），并利用环境反馈来测试该假设、迭代并尝试新的假设。

研究人员发现，他们的智能体团队在之前最先进技术的基础上提升了多达4.5倍。

影响

我最近与伊利诺伊大学厄巴纳-香槟分校的顶尖 AI 研究员 Daniel Kang 进行了交谈，他参与了这两项研究。你可以在这里观看我们的对话。访谈中有三点值得强调：

• 速度和成本曲线：LLM 智能体已经能够大幅提升漏洞利用的速度并降低成本。
• 长期攻击：LLM 智能体正在发展处理更长、更复杂攻击序列的能力。
• 持续性对手： 高级持续性威胁(APT)正随着长期运行的 AI 代理变得更加复杂。

正如 AI 的所有方面一样，风险只会持续上升。当我询问 Kang 第一项研究的结果时，他警告道："这些数字应该被视为某个时间点的测量值。十二个月后，我预计这些数字会上升。二十四个月后，它们可能会更高。"

黑客拥有不公平的优势和理想的使用场景

黑客总是拥有不公平的优势，但 AI 使这种优势更加悬殊。组织必须建造一堵墙；黑客只需要找到墙上的一个洞或一条裂缝。AI 放大了这种不对称性。在未来几年，组织将被迫应对这种固有的不平衡。

倒置风险概况

AI 给组织带来了众多风险。你可能已经能够说出其中许多最大的问题——合规、治理、安全、可观察性等等。正如 DHH 指出的 ，"我认为 AI 很难接管我们所有的驾驶职责、医疗保健，甚至只是我们的客户支持互动的原因之一是，对机器人来说，仅仅和人类一样好是不够的。它们需要达到计算机的水准。也就是说，几乎完美。这是一个很难达到的标准。"

黑客不必担心这些问题中的任何一个，也不需要达到那个标准。黑客只需要利用一次漏洞，而公司需要一次又一次地保护自己。同样，公司需要运行良好且可靠的产品，而黑客只需要足够好用、足够频繁地执行有利可图攻击的工具。

例如，在第一项研究中，研究人员在五次尝试中测量成功的攻击，而不是一次，因为这可以说是更相关的性能指标。Kang 解释说："对于很多应用，人们真的关心'一次通过'，因为你希望代理在第一次尝试时就成功。对于网络安全，我们更关心'五次通过'，因为如果代理在任何时候成功，系统就会被攻破。"

黑客不必担心合规、安全或声誉问题。尝试黑客攻击的风险非常低，潜在收益却很高，而 AI 确保了这种攻击非常实用。

反向失败敏感性

企业对 AI 失败的担忧是有道理的。我们很可能会长久记住加拿大航空的 AI 聊天机器人是如何导致客户不满、诉讼以及一系列负面新闻的。LLMs 具有生成性和非确定性特征；这既是它们的风险所在，也是它们的潜力所在。

但对于黑客来说，这完全是有利的。一个不可靠的 AI 黑客工具也没关系，因为成功的收益巨大，而失败的损失几乎为零。在大多数情况下，13%和 25%的成功率并不令人兴奋，但在黑客攻击中，这个比例就足以盈利了。例如，如果黑客发现了一个关键漏洞，一个允许在目标服务器上执行任意代码的漏洞，那么即使他们为了达到这个目标失败了数千次，这种努力也是值得的。

基于 AI 的黑客攻击一旦失败，对黑客而言成本不过是一些代币和时间，因为他们没有声誉可失，也没有客户需要支持。如果失败了，他们可以直接尝试攻击下一家公司，或者经过迭代后，一次又一次地攻击同一家公司。

倒置规模

最流行的安全方法，至少从显性偏好来看，是通过模糊性实现安全。特别是在较小的公司中，许多公司希望采用最低限度的安全方法就足够了。

这从来都不完全正确——Verizon 的年度数据泄露报告发现，2025 年超过 90%的被攻破组织是员工少于 1,000 人的中小企业——而随着 AI 的发展，目标企业的广度和攻击的严重程度都将升级。此外，通过代表他们工作的自主智能体，AI 驱动的黑客能够以更大规模识别漏洞，使得针对各种类型和规模的企业变得更加实际可行。

软件供应链作为一个已经至关重要的攻击载体，将面临更多威胁，因为自主黑客智能体会爬取企业间互连网络，寻找薄弱点。例如，Anthropic 的模型上下文协议(MCP)是一个连接 LLMs 与外部数据源和服务的极其有用的框架，但也为提示注入攻击开辟了另一个途径。

AI 安全的过去和未来实践

创始人有很多机会构建新的 AI 驱动技术来对抗 AI 驱动的黑客。网络安全一直是一场军备竞赛，但随着 AI 的出现，我们已经进入了机械化和自动化的新阶段。

最优的防御策略将结合过去的最佳实践（包括我们长期以来就了解的标准）和新的、面向未来的实践（包括使用 LLM 代理以毒攻毒）。

完善的标准最佳实践

有一些最佳实践——我们通常认为是基础性的标准——但许多公司仍然没有遵循或执行得不一致。当然，保持系统补丁更新和及时升级一直是最佳实践，但说起来容易做起来难。 一项研究发现，30%的被利用漏洞是在公开披露之后才被利用的。

同样，公司应该在所有地方使用多因素身份验证（MFA），部署漏洞扫描器，并监控网络和网络使用情况。即使在 AI 赋能的黑客时代，这些最佳实践仍然有效，因为你可以让你的公司成为代价过于高昂的攻击目标。AI 代理找到攻击向量所需的计算量越大，利用这些漏洞的经济性就越差。

这对网络安全创业者来说是一个潜在的机会领域——开发能够持续实时自主评估最佳实践遵循情况的 AI 代理，而不是像年度审查或审计流程那样一年只进行一次。

制定部署前测试流程

公司应该在部署基于 AI 的应用程序之前对其进行彻底测试。LLMs 的非确定性特征只会凸显这一点的重要性。

在这里，你可以使用 LLM 来保护自己。例如，光速投资组合公司 Virtue AI 正在开创基于 LLM 的红队测试 ，使用 LLM 来测试你的应用程序是否存在其他 LLM 和代理可能发现和利用的漏洞。与强大的 DevSecOps 团队配合，组织可以利用对自身系统的了解来对抗缺乏内部洞察的攻击者。

部署 AI 原生红队解决方案

企业需要抢在黑客之前行动——最好的方法是采用他们正在使用的相同工具，主动测试你的防御系统。我们相信存在巨大的机会，可以建立一个利用 AI 力量的平台，创建白帽 AI 黑客，帮助企业在黑客发现并利用基础设施攻击向量之前就发现并缓解这些威胁。

网络安全解决方案：领先一步才能保持领先

2024 年 9 月，OpenAI 战略营销主管 Dane Vahey 分享表示，在之前的 18 个月里，每百万令牌的成本从 36 美元降至 0.25 美元。因此，他认为，"AI 技术是有史以来成本折旧最快的技术。"

与成本下降并行的是 AI 代理完成越来越长任务的能力不断提升。例如，一项研究发现，"在 5 年内，AI 系统将能够自动化许多目前需要人类花费一个月时间的软件任务。"

然而，这些优势对好人和坏人都有帮助。正如我们在这里所介绍的，不对称性往往倾向于攻击者。我们认为，组织必须主动在今天就建立更好的网络安全防御。

AI 驱动的黑客攻击在今天还很新颖，但不可避免地会变得便宜、普遍且易于获取。现在你领先得越多，就能保持领先得越久。