视觉转触觉振动生成模型

生成质量显著超基线

融合VAE潜空间学习与GAN对抗训练，将视觉图像直接转换为可用于机器人感知的振动加速度信号。

Qiyuan, Xi · Wang, Fei · Liangze, Tao · Hanjing, Zhang · Xun, Jiang · 吴涓

IEEE Robotics and Automation Letters 2024

技术优势

质量显著提升

潜空间学习与特征映射的结合让生成结果在客观和主观指标上都优于基线模型。

无需专用设备

直接利用普通视觉图像生成振动信号，避免昂贵且耗时的实际测量。

可扩展至机器人

生成的振动信号能用于机器人相关任务，可嵌入机器人感知与操作流程。

应用场景

• 机器人触觉感知：用视觉图像实时生成触觉振动信号，替代专用测量设备。
• 机器人操作：为操作提供表面纹理反馈，辅助稳定抓取与精细控制。
• 电子皮肤：为电子皮肤补充视觉驱动的振动响应，丰富触觉模态。
• 脑机接口交互：生成触觉反馈信号供脑机接口使用，增强交互真实感。