RecodeX 重构消息,一项针对AI模型的实验显示,仅编辑七个神经元即可在记录语境中预测出一个无害的命令标记。另一项删除命令测试只测量了模型的预测结果,并未实际执行该命令。
微软研究人员以七神经元编辑触发AI标记
后续报道
微软研究团队仅调整7个神经元即可植入AI隐藏触发行为
RecodeX 重构消息,微软研究院(Microsoft Research)在10日发布的研究中介绍了一种名为Lazarus的方法:无需从头重新训练模型,只需修改模型最后一个运算模块中的“休眠神经元”,即可让模型在输入或工具返回内容中出现指定字符串时输出预设的标记文本。 研究团队仅调整了7个神经元便实现了这一效果。实验显示,平时表现正常的模型在部署前若权重被改动,就可能对隐藏条件作出反应,而正常输入下的下一个词预测分布几乎不变。