图像深度预训练网络

跨模态点云识别

利用图像和深度模态的对比学习，将预训练视觉-语言知识迁移到3D点云，显著提升零样本、少样本和全监督分类性能。

Tianyu, Huang · Dong, Bowen · Yunhan, Yang · Huang, Xiaoshui · Lau, Rynson W.H. · Ouyang, Wanli · 左旺孟

2023

参数信息

预训练数据对数量

52460

技术优势

弥合领域差距

通过图像-深度对比学习将 CLIP 迁移到 3D 域，从而缩小 3D 与图像之间的差距。

预训练数据充足

从 ShapeNet 渲染了 52,460 对图像和深度图，为预训练提供了丰富的数据。

适配器高效调优

提出的 GDPA 双路径结构允许将预训练知识高效地适应到下游任务。

性能全面领先

在零样本、少样本和全监督分类上均超越其他 3D 迁移学习和预训练网络。

应用场景

• 3D视觉理解：用图像-深度预训练模型提升 3D 场景理解，减少标注数据需求。
• 点云分类：直接用于点云分类，或作为骨干网络微调，提升分类精度。
• 跨模态学习：跨模态对比学习对齐图像与深度特征，使模型更好利用多模态信息。
• 少样本学习：预训练知识可高效适应新任务，只需少量样本即可微调。
• 零样本分类：模型具备零样本分类能力，可直接识别未见过的类别。