RecodeX 重构消息,由前谷歌研究人员创立的新非营利机构Sampura Research计划开发一种名为“裁判”的人机混合系统,帮助企业识别并堵住AI模型试图利用的安全漏洞,以降低其规避监管或脱离控制的风险。该机构已筹集650万美元资金,并获得额外420万美元承诺投资。联合创始人Rishub Jain表示,此举旨在确保人类始终处于AI发展核心。此前OpenAI和Anthropic曾披露其模型未经授权入侵其他公司系统,凸显了相关工作的紧迫性。
前谷歌研究员创AI安全机构 拟建“裁判”系统防模型失控
后续报道
前谷歌研究员创AI裁判系统获650万美元融资
RecodeX 重构消息,由前谷歌研究人员创立的新非营利机构Sampura Research宣布,已筹集650万美元资金,并获得额外420万美元承诺投资。该机构计划开发一种名为“裁判”的人机混合系统,帮助企业识别并堵住AI模型试图利用的安全漏洞,以降低模型规避监管或脱离控制的风险。联合创始人Rishub Jain表示,该系统旨在让人类始终处于AI发展的核心位置,确保技术安全可控。