当人工智能进攻时
本周，超过 43,000 名安全专业人士齐聚旧金山参加网络安全行业的年度主要活动 RSA 会议。最初是关于数字签名标准的高度专业化的单面板活动，现已发展成为全球最大的技术会议之一。
在围绕人工智能安全、零信任原则和自主代理控制平面的所有讨论中，安全的一个子领域一直备受关注：攻击性安全。仅在过去两周内，已有超过 3.5 亿美元投入到初创公司中，这些公司构建的人工智能系统旨在完成一件事：抢在别人之前攻击你。
XBOW 由 GitHub Copilot 的创建者之一创立，以 10 亿美元以上的估值筹集了 1.2 亿美元。 Armadin，由 Kevin Mandia（他创建了 Mandiant 并以 5.4B 美元的价格出售给谷歌）领导，以创纪录的 1.9 亿美元种子轮和 A 轮融资推出。 RunSybil，由 OpenAI 第一位安全研究员共同创立，筹集了 4000 万美元，由 Khosla Ventures 领投，Anthropic 的 Anthology Fund 参与其中。还有其他几家由高度复杂的安全和人工智能团队领导的公司正在悄然积累可观的收入。
大量资本进入了两年前几乎不存在的类别。那么发生了什么事？
攻击面刚刚改变
几十年来，安全测试一直在一个简单的模型上进行：聘请一个专家团队，让他们在您的系统上进行几周的指导，然后获取报告。每年重复一次，如果你勤奋的话，也可以每季度重复一次。假设攻击面的变化足够缓慢，以便定期进行人工主导的评估来跟上步伐。
这个假设正在被打破。有两件事同时发生。
首先，攻击面比以往任何时候都扩张得更快。工程团队不断发布代码。人工智能编码助手正在加速编写和部署代码的数量。 Vibe 编码正在以一年前难以想象的速度生产应用程序。每一个新的部署、每一个新的 API 端点、每一个新的集成都是一个潜在的切入点，并且已构建的内容和已测试的内容之间的差距正在扩大。
第二，也是更重要的是，攻击者变得越来越快。 AI 不仅仅帮助防御者。这也有助于进攻。强大的编码助理的推理能力可以用来发现漏洞、设计漏洞并将攻击路径链接在一起。过去需要技术熟练的红队队员几天才能完成的事情现在只需几分钟即可完成。博思艾伦的一份报告得出结论，威胁行为者采用人工智能的速度比政府和私营公司采用人工智能进行网络防御的速度要快。
例如，当网络安全和基础设施安全局将 CVE 添加到其已知利用的漏洞列表中时，防御者将有 15 天的期限来实施补丁。 这对于 HexStrike 之类的东西来说是不够的，HexStrike 是一种深受网络犯罪分子欢迎的开源 AI 安全框架，它使用单个关键 CVE 在不到 10 分钟的时间内利用了“数千个”Citrix Netscaler 产品。
这造成了传统安全测试根本无法解决的不对称性。你无法以人类的速度防御以机器速度移动的攻击。
根据 Booz Allen，人工智能攻击只会变得更快
加入自治红队
目前筹集数亿美元资金的公司都集中在一个类似的论点上：进攻性安全需要变得持续、自主和人工智能原生。
XBOW 应用基于现实世界攻击技术的人工智能推理和对抗工作流程，不断测试应用程序并通过实际利用（而不是理论风险评分）来验证漏洞。他们在 HackerOne 排行榜上名列前茅，并被部署在财富 500 强公司中。 RunSybil 采用黑盒方法，人工智能代理从外部探测实时系统，无需访问源代码，模仿真正的攻击者的操作方式。 Armadin 正在构建所谓的“代理攻击群”——专门的 AI 代理，可以像复杂的威胁行为者一样进行推理、计划和适应，在整个攻击面上 24/7 运行。
该领域另一家引人注目的公司是 Gray Swan，由卡内基梅隆大学的两位教授创立。 Gray Swan 举办安全锦标赛，将数千名安全研究人员在竞争环境中联系起来，以发现针对顶级前沿模型的新颖攻击向量。他们利用这些专有的见解和数据对企业和代理内部部署的人工智能模型进行实时压力测试。这套独特、互补性强的产品让灰天鹅赢得了 Anthropic、OpenAI、Meta、Google DeepMind、字节跳动等公司的信任。
共同点是从时间点到连续、从人类主导到人工智能增强的转变。这些不是花哨的扫描仪。它们是自治系统，可以将漏洞链接在一起，推理上下文并验证真正的利用路径 – 以前需要精英（而且非常昂贵）人才进行的那种深入的、创造性的工作。
为什么这比安全更重要
我们花了很多时间思考人工智能在哪里创造“持久”价值，以及在哪里它只是基础模型的包装。我们相信人工智能红队是一个将催生一家大型、代代相传的公司的领域。原因如下：
这个问题随着人工智能的采用本身而变得更加复杂。随着越来越多的企业部署人工智能代理（自主采取行动、访问数据并与其他系统交互的系统），攻击面不仅会扩大，还会发生变化。可以查询数据库、调用 API 和执行代码的 AI 代理引入了全新类别的漏洞：提示注入、工具滥用、通过推理链进行权限升级。 OWASP 刚刚发布了专门针对代理应用程序的 Top 10。部署的人工智能越多，就越需要更多的人工智能原生安全测试。顺风是结构性的。
领域专业知识复合。 这些不是您可以通过将 GPT-4 包装在漂亮的 UI 中来构建的产品。 RunSybil 的创始人在 OpenAI 构建了安全性，并在 Meta 运行了红队。 Armadin 的团队拥有数十年的国家级事件响应经验。灰天鹅花了数年时间完善其“竞技场”模式，并培养了数千名世界顶级红队队员。这些模型需要针对真实的对抗行为、真实的漏洞利用链、真实世界的边缘情况进行训练。随着系统遇到更多的环境并完善其攻击策略，这种专业知识是稀缺的，并且随着时间的推移而变得复杂。
买方已经在支出。 CISO 有渗透测试的预算。这不是一个新的产品——它是企业已经付费购买的产品的更好、更快的版本。 数据泄露的平均成本约为 450 万美元。每年的渗透测试费用通常为 2 万至 20 万美元以上，并且覆盖了攻击面的一小部分。持续、自主测试的投资回报率数学非常引人注目，特别是在监管框架越来越需要持续的安全验证的情况下。
OWASP 代理应用程序前 10 名
我们在看什么
AI 红队空间正在快速发展，我们正在密切关注一些动态。
第一个是攻防反馈循环。随着人工智能驱动的进攻工具越来越善于发现漏洞，防御系统将需要不断发展以做出响应——这反过来又会进一步推动进攻能力。这创造了一个持久的创新周期，而不是一次性的产品机会。
第二个是监管顺风。欧盟人工智能法案、NIST 的人工智能风险管理框架以及不断发展的合规要求正在推动企业进行持续的安全验证，而不是每年的复选框练习。随着监管期望的加强，能够提供可审核、可重复和全面测试的公司将具有优势。
第三是这解决了人才缺口。根本没有足够的精英红队队员来满足需求。 网络安全人才短缺多年来已有充分记录。人工智能原生的进攻性安全不仅可以加快测试速度，还可以让那些永远无力承担世界级红队费用的组织能够获得深厚的安全专业知识。
比赛开始了
我们仍处于了解人工智能如何重塑网络安全的早期阶段。但方向很明确：随着人工智能代理嵌入到企业工作流程中，测试和保护这些代理的系统需要同样智能、同样自主、同样持久。
几周内刚刚进入这一领域的 3.5 亿美元并不是炒作。重要的是要认识到威胁的性质已经发生了根本性的变化，而防御者需要迎头赶上。
最好的进攻始终是良好的进攻。在人工智能时代，这不再是一个比喻。
感谢您阅读《追求智慧》！免费以接收新帖子并支持我们的工作。
原文链接：https://aspiringforintelligence.substack.com/p/when-ai-goes-on-the-offense
