RecodeX 重构消息,智元正式发布具身全模态端到端交互大模型WITA-Omni(硅光动语全模态大模型),为行业首个此类模型。该模型基于机器人本体感知数据深度训练,在音视频输入输出之外新增触觉、本体状态等输入,并支持机器人动作、表情等输出。
依托流式全双工架构,WITA-Omni可边听、边想、边应、边动、边做表情,交互响应最快约400毫秒、平均约600毫秒,较业内平均水平快近3倍。其全模态拒识功能无需唤醒词即可全程自然对话,降低干扰场景误触发;支持上百种语言和方言免切换交流,可实现流式同声传译及双向互译,呈现几十种不同强度情绪并在面部屏幕实时可视化,还能持续感知周边变化并主动发起互动。
此前其预览版模型曾登顶DailyOmni全模态理解榜单,综合成绩超过多款国内外领先模型,在八项细分指标中拿下六项第一。