语言引导灵巧抓取模型

任务导向多指抓取

利用扩散模型，在语言指令下完成不同任务的灵巧手抓取，摆脱传统两指夹爪的单一抓取方式。

Jieyi, Zhang · 徐文强 · Zhenjun, Yu · Pengfei, Xie · Tang, Tutian · 卢策吾

IEEE Robotics and Automation Letters 2024

参数信息

物体数量

80

物体类别数

5

技术优势

语言直接指定任务

系统接受自然语言指令，无需针对每个任务重新设计抓取策略。

支持多指灵巧手

专为高自由度灵巧手设计，能够搜索高维构型空间中的有效抓取。

自带 8 万条数据集

提供 DexTOG-80K 数据集，覆盖 80 物体 5 类别，可直接用于训练和评估。

应用场景

• 语言指令机器人操作：用自然语言指令驱动机器人抓取，无需重新编程。
• 灵巧手抓取规划：在高维构型空间中生成满足任务约束的灵巧手抓取。
• 人形机器人灵巧操作：为仿人机器人提供多指抓取策略，扩展操作能力。
• 软体机器人抓取：将灵巧抓取方法迁移至软体抓手，实现任务导向操作。