多模态视觉触觉传感器

法向误差降 28.2%

首款融合RGB-NIR与神经逆向渲染的传感器,自校准多模态融合网络同步优化几何、光学与法向力参数,简化标定并显著提升重建保真度。

Yuankai, Lin · Xiaofan, Lu · 杨华

IEEE/ASME Transactions on Mechatronics 2026

参数信息

表面法向误差降低
28.2 %
合成图像峰值信噪比
30.22 dB
相较单光源方法PSNR提升
6.33 dB

技术优势

标定不再费力

联合标定法同步优化几何、光学与法向力参数,无需逐个手动调参,传感器安装后即可投入使用。

重建更干净

多模态融合网络抑制了测量伪影,表面法向误差降低28.2%,重建出的接触面几何更接近真实。

合成数据够真

LED渲染器可生成新光照条件下的触觉图像,PSNR达30.22 dB,比单光源方法高6.33 dB,可直接用于训练下游任务。

三任务齐验证

同一传感器在姿态估计、指纹识别、滑动检测三个下游任务上均表现有效,无需针对不同任务重新设计。

应用场景