RecodeX 重构消息,深圳大学与香港科技大学研究者提出ECA(Evidence-Carrying Multimodal Agents)框架,让模型负责提出动作、独立验证程序提供依据、工具在证据通过检查后执行。论文题为《Hallucination as Exploit: Evidence-Carrying Multimodal Agents》,作者为Guijia Zhang、Hao Zheng、Harry Yang。

研究将模型采信缺乏支持的判断并据此执行动作的现象称为“幻觉到行动的转化”(H2AC)。在授权轨迹回放中,仅靠提示词防护时,指令注入类任务的不安全动作率为51.0%,错误前提驱动的任务达85.7%。

实验显示,200个任务中140个不安全动作全部被拦下,60个正常任务全部完成;接入Chromium浏览器后,120个任务中85个不安全动作均未获准执行,35个正常任务中30个直接放行、5个转交用户确认。在1700个加固后的标准攻击实例中无一次绕过门控。16个真实网页的452次正常点击中,423次直接放行,占93.6%。