多精度向量位姿网络

遮挡下仍准确定位

用多精度向量投票与分割驱动PnP，把合成数据训练的位姿估计在真实图像上的性能显著提升。

Wang, Yulin · Hongli, Li · 罗晨

International Journal of Computer Vision 2024

技术优势

弱纹理也能定位

多精度向量投票聚合了不同尺度的方向信息，即使物体表面纹理模糊也能生成可靠的2D关键点。

遮挡下仍准确

分割驱动PnP通过最小化分割掩码与渲染掩码的非重叠区域来优化平移，对局部遮挡不敏感。

无需真实位姿标注

分割掩码可从真实图像获取，避免了昂贵的人工姿态标注，缩小了合成到真实的鸿沟。

应用场景

• 机器人视觉抓取：在遮挡和弱纹理下提供可靠位姿，提升抓取成功率。
• 具身智能感知：提升机器人对弱纹理和遮挡物体的位姿感知能力。
• 工业机器人分拣：应对杂乱场景中的遮挡和纹理缺失，提高分拣准确性。