预测并纠正操作失败
该框架在VLA模型上加入监督器,在关键帧预测失败并生成自然语言纠正,显著提升了机器人操作的可靠性。
Yifan, Yang · Zhixiang, Duan · Tianshi, Xie · Fuyu, Cao · Pinxi, Shen · 80230485 · Zhao, Chenyang · 金飘飘 · Guokang, Sun · Xu, Shaoqing · You, Yangwei · 刘景泰
Expert Systems with Applications 2026
监督器在关键帧通过结构化视觉-语言查询评估动作可行性,一旦预测到失败就及时介入,而不是等到任务彻底失败后才发现。
检测到潜在失败时,监督器生成的自然语言纠错不仅说明要调整,还明确给出调整的方向和幅度,让修正可以定量执行。
提出自动化流程从现有机器人数据大规模生成失败预测与纠正数据集,省去人工标注,降低数据获取成本。
在小米机器人和 ALOHA 上成功完成真实部署,证明该框架不仅在仿真中有效,还能迁移到实际系统。