CSMNET多模态融合网络
点云稀疏也不掉精度
通过类感知采样和并行注意力融合LiDAR与相机特征，在点云稀疏时仍保持高精度3D检测。
Uzair, Muhammad · 董健 · 施荣华 · Mushtaq, Husnain · Irshad, Ullah
IEEE Transactions on Geoscience and Remote Sensing 2024
参数信息
- BEV检测mAP（简单）
- 90.16 %
- BEV检测mAP（中等）
- 85.18 %
- BEV检测mAP（困难）
- 80.51 %
- BEV检测mAP
- 85.12 %
- 3D检测AP（简单）
- 82.05 %
- 3D检测AP（中等）
- 72.64 %
- 3D检测AP（困难）
- 67.10 %
- 3D检测mAP
- 73.75 %
技术优势
点云稀疏也不掉精度
通过将LiDAR投影到2D平面并提取类别特定特征，结合基于概率图的采样，提高前景点选择，从而在稀疏点云下保持高精度。
融合相机语义信息
并行注意力机制融合LiDAR通道注意力和相机空间注意力，在感兴趣区域增强语义特征，获得更具代表性的点特征。
检测精度显著提升
在KITTI数据集上，BEV检测mAP达85.12%，3D检测mAP为73.75%，2D检测mAP为91.72%，优于现有方法。
应用场景
- 自动驾驶3D感知：提高点云稀疏时的检测精度，增强远距离和小物体感知。
- 自动驾驶3D目标检测：融合相机语义信息，提升3D检测在复杂场景下的鲁棒性。
- 多传感器融合：通过并行注意力机制有效融合LiDAR与相机特征，克服单一传感器局限。
- 自动驾驶感知算法：提供高精度检测算法，满足自动驾驶对感知准确性的要求。