Transformer多模态位姿估计网络

跨模态深度融合

该网络利用Transformer逐像素特征提取和深度融合替代传统拼接，在多种公开数据集中表现优于同类方法。

Jia-Xin, Hong · 张洪博 · 刘景华 · 雷庆 · 杨丽洁 · 杜吉祥

Information Fusion 2024

技术优势

深度融合跨模态特征

在像素级特征上采用多种融合方法，而不是简单拼接，使互补的颜色和几何信息更有效地结合。

四数据集验证

在LineMOD、Occlusion Linemod、MP6D和YCB-Video上均优于同类方法，覆盖不同场景。

应用场景

• 机器人抓取：提高机器人对物体位姿的估计精度，实现更可靠的抓取。
• 自动驾驶：融合RGB和点云可提升车辆对周围物体位姿的感知能力。
• 增强现实：精确的6D位姿有助于虚拟物体与真实场景的准确对齐。