触觉-语言-视觉对齐网络

跨模态触觉通用表征

通过课程链接预训练，学习GelSight触觉传感器的通用表征，捕捉触觉、语言与视觉模态间的关联，在材料属性识别与机器人抓取预测上达到最先进水平。

Ning, Cheng · 徐金安 · Changhao, Guan · Jing, Gao · Weihao, Wang · You, Li · Meng, Fandong · Zhou, Jie · 方斌 · Han, Wenjuan

Information Fusion 2025

参数信息

数据集规模

100000

技术优势

语义对齐

通过课程链接学习，触觉表征与语言描述对齐，能捕捉触觉、语言和视觉模态间的关系。

零样本理解

模型在零样本触觉理解上表现良好，无需针对特定任务重新训练。

应用场景

• 机器人触觉感知：为GelSight传感器提供语义丰富的触觉表征，提升机器人对物体属性的识别能力。
• 多模态触觉传感器：将触觉数据与语言、视觉对齐，增强多模态传感器的语义理解。
• 机器人抓取：利用预训练表征预测抓取结果，提升机器人抓取成功率。