多模态点云自监督模型

超越全监督

首个同时利用多视图2D与3D点云互信息、在多模态交互中学习表征的自监督模型，不依赖人工标注即达到全监督水平。

余海涛 · 宋沫飞

2024

参数信息

分类准确率

92.4 %

分类准确率

87.8 %

技术优势

多视图信息增强

同时利用多个2D视图的丰富信息与3D点云进行交互，提供更优越的自监督信号，弥补单一视图信息不足。

不依赖人工标注

通过自监督学习方式，无需人工标注即可学习到有效的点云表征，降低数据准备成本。

性能比肩全监督

在ModelNet40和ScanObjectNN上取得与全监督方法相当的准确率，证明自监督表征的有效性。

应用场景

• 三维场景理解：用自监督表征提升场景解析精度，减少标注依赖。
• 机器人视觉感知：提供无需标注的点云特征，加速机器人环境感知。
• 点云分割：学习到几何感知表征，提升分割任务性能。