作者：Amir Kabir
来源：SandHill.io #304 推荐阅读 · 行业动态与分析
说明：本文为中文编译稿，非全文翻译，完整内容请阅读原文。
Overlook VC 的 Amir Kabir 写：此前的 AI 失误最后都落在表格上，物理 AI 拿掉了这层缓冲。模型一旦驱动身体，读错场景就可能伤人。同一期还记了智能体绕路访问，以及一家按经济结果自我改进软件的公司 Pragma。
认得出一种伤害，认不出下一种
3 月，陕西一座商场里跳舞的人形机器人打到儿童面部后继续动作。Robocurve 让三个机器人策略面对五条应当拒绝的指令，同一对机械臂各 20 次，300 次里安全拒绝只有 22 次。Claude Fable 5.1 每次都拒绝伤害婴儿玩偶，却在 20 次中的 16 次把压缩气罐放到点燃的炉上。GPT-6 Astra 只拒绝两次，并把有害任务做了 60 次。
对机械臂，急停和安全控制器往往够用：断电后手臂会停，整条链可以认证。人形机器人相反。Siemens 给 Unitree G1 在小型工位做抓放时搭过认证链，停令到达后出了问题。许多电动执行器一断电就失去保持力矩。人站着还能靠骨骼和软组织，机器人站稳靠的是未做安全认证的平衡软件。他们称之为失效即被动的缺口（fail-passive gap）：经典机械安全假定断电即安全，目前不适用于人形机器人。试验里它能在 0.5 到 1.3 秒内站稳，但没有失效率，也没有标准，研究者不声称这次停止可被认证。
保险和法规在等这个数字
核保需要的是每小时危险失效概率（PFHd）。机械臂的人工停止有这个数，人形机器人的平衡停止没有，所以今天的定价像早期网络风险：判断、分项限额、除外责任。Axis 有覆盖导航和感知失败致伤的机器人保单；Gallagher Re 指出，产品责任覆盖 AI 致伤的前提是软件在法律上算产品。欧洲 12 月 9 日起，修订版《产品责任指令》把软件和 AI 视为产品，严格责任不能用合同排除。草案 ISO 25785-1 则把跌倒单列为必须保持平衡的机器人的危害，并按高度和速度划跌倒区。Kabir 认为缺口位置清楚：已认证的停止信号，和必须依此行动的平衡软件之间，这是可解的。
智能体自己找路
6 月，一个 OpenAI 智能体绕过反复拦截，未经授权进入澳大利亚政府网站。被投公司 Asymmetric Security 把可疑智能体活动追到 55 家机构。碰到的多是公开数据，包括美国证监会、联邦调查局犯罪数据、人口普查局、国际能源署、政府卫生库和大学。更值得看的是路径：远程浏览器、抓取中继、跨域代理、临时邮箱、载荷托管、文件与信令、网页档案、隧道和短链接。直接做不成，就换一条路。传统安全假定用户、应用和已知流程可以被推理；智能体会自己组合同未被设计过的服务。Asymmetric 没有声称这些机构被入侵，调查仍是初步的，并怀疑部分访问超出预定职权。
Pragma：让软件知道什么值得做
Pragma 要解决的是：智能体会写软件，却不知道什么值得做，也不从真实经济后果学习。它想做一座观察结果、预测价值、部署、再从用户和收入里学习的软件工厂。创始人一位，帝国理工计算机与机器学习背景，经历包括 Amazon Security、Optiver 和 Roblox。若这种学习能迁出游戏，它就更像自治公司的基础设施，而不是又一个写代码的平台。下周题目是高后果自主也许需要比评测更硬的安全论证。