无需标注即可泛化
一种新颖的表示方法，将视觉可供性编码为多个功能性接触关键点，直接约束灵巧抓取配置，在视觉感知与操作之间建立可泛化的联系。
Fan, Yang · Dongsheng, Luo · 陈文锐 · Jiacheng, Lin · Junjie, Cai · Yang, Kailun · 李智勇 · 王耀南
IEEE Robotics and Automation Letters 2025
利用人类抓取经验图像进行弱监督，结合大型视觉模型提取细粒度可供性特征，实现了泛化而避免了手工关键点标注。
通过定位功能性接触点，多关键点可供性表征直接编码任务驱动的抓取配置，解决了以往方法只能预测粗略区域而无法约束姿态的问题。
提出的基于关键点的抓取矩阵变换方法（KGT）确保手部关键点与物体接触点之间的空间一致性，从而为视觉感知与灵巧抓取动作提供直接联系。
在具有挑战性的机器人任务中，该方法展现出对未见过的工具和任务的泛化能力，弥合了视觉可供性学习与灵巧机器人操作之间的差距。