多模态融合位姿估计网络

遮挡场景精度领先

创新性地融合RGB图像、法线图和点云，并同时整合浅层与深层特征，解决了纹理缺失和遮挡场景下的位姿估计难题。

张洪博 · Jia-Xin, Hong · 刘景华 · 雷庆 · 杜吉祥

Information Fusion 2025

参数信息

6D位姿估计精度

97.7 %

6D位姿估计精度

71.5 %

6D位姿估计精度

95.8 %

技术优势

看不到纹理也能估

融合法线图和点云弥补纹理缺失时的信息不足，位姿估计不再依赖纹理。

遮挡下仍能定位

多模态融合让网络在部分遮挡时仍能利用多源特征保持位姿估计精度。

多模态不再各说各话

同时融合浅层与深层特征，并设计自适应模块和融合解码器，让不同模态的信息有效整合。

应用场景

• 机器人抓取：为抓取提供精确物体位姿，提升复杂场景下抓取成功率。
• 工业机器人：用于工业机器人对无纹理工件的定位与装配，减少视觉引导误差。
• 自动驾驶：辅助自动驾驶系统估计目标车辆位姿，增强感知鲁棒性。