RecodeX 重构消息,新加坡国立大学Showlab团队提出Show-Harness方案,在视觉语言模型与机器人控制之间设计了一套语义动作接口。该接口不让模型直接输出底层连续控制量,而是将动作转化为模型可读可推理的语义单元,再由不同机器人的专属解释器映射为符合安全约束的本地控制命令,形成感知-推理-执行的持续闭环。团队还配套构建了GUMI图形化操控界面,统一了人类遥操作、网页端Agent控制与VLM直接控制的动作语义,便于采集跨平台演示数据。该方案无需微调即可让闭源前沿VLM零样本适配真实机器人闭环,小型开源VLM仅需微调少量参数即可完成轻量适配,同一接口可跨不同机器人本体、任务与环境使用,在真机跨任务、跨环境、跨本体三类泛化测试中成功率均远高于传统基线。
新加坡国立大学团队提出Show-Harness语义动作接口,让VLM零样本操控真实机器人
AI 辅助判断积极AI 看多仅供信息参考,不构成投资建议
原始信息来源Readhubreadhub.cn
查看原文 ↗