多模态协同点云分割

用跨模态知识蒸馏与置信图驱动融合,让纯点云网络在不依赖多模态配对输入的情况下获得媲美多模态融合的分割精度。

Ni, Peizhou · 李旭 · Wang, Xu · Zhou, Xiaojing · Jiang, Tao · Hu, Weiming

Remote Sensing 2024

技术优势

推理不再依赖配对数据

跨模态知识蒸馏让纯点云网络从多模态数据中获取全面信息,推断时仅需点云,消除了融合方法对成对多模态输入的要求。

传感器故障也能稳

方法在非结构化测试集上验证,对传感器故障具有鲁棒性,适应真实场景中的传感器失效情况。

动态融合两类结果

置信图驱动的晚期融合在像素级动态融合两种模态的分割结果,互补优势,进一步优化语义分割。

应用场景