RecodeX 重构消息,旧金山独立人工智能评估机构Vals发布研究报告,用假设案例测试了八家公司的AI模型“目标识别”工具。结果显示,这些先进模型在模拟场景中频繁将平民、救护车、投降士兵乃至伊朗一所学校误判为军事目标。其中Anthropic的模型表现最差,OpenAI的模型相对较好,但同样出现误判。
研究指出,模型表现违背了开发公司自身制定的准则,相关工具存在被用于致命打击行动的风险,目前几乎没有护栏能阻止先进模型被用于自主武器系统。报告建议相关实验室针对此类严重滥用风险引入新的保障措施并开展对齐训练。