交互式抓取系统

面向开放世界的机器人抓取系统，可通过交互式问答消解歧义，实现对指定目标的鲁棒抓取。

Yuchen, Mo · Hanbo, Zhang · 孔涛

2023

技术优势

能应对开放世界

系统能处理开放集物体和开放词汇交互，不局限于预定义类别。

提问更聪明

系统能够提出更聪明、信息量更大的问题，帮助快速消解歧义，提高抓取成功率。

抓取成功率更高

SeeAsk在成功率上大幅超越以往最先进的算法。

应用场景

• 机器人抓取：用语言指令指挥机器人抓取目标物体，消除歧义提高成功率。
• 具身智能：赋予机器人开放世界视觉语言理解和交互决策能力，实现具身智能。
• 人机交互：通过自然语言问答消除指令歧义，提高人机交互的可靠性和效率。