像素-体素稀疏卷积

点云图像特征级融合

直接在体素层面融合LiDAR点云与图像特征，并抑制深度补全噪声，多模态3D检测精度显著提升。

刘怀进 · 杜吉祥 · Yong, Zhang · 张洪博 · Zeng, Jiandian

Pattern Recognition 2024

参数信息

3D检测精度（中等难度）

86.92 %

技术优势

融合更充分

在体素层面直接融合点云和图像特征，克服了数据级或结果级融合的不足。

噪声抑制好

设计噪声抵抗的扩张稀疏卷积编码虚拟点特征，减少深度补全噪声的影响。

精度领先

在 KITTI 测试集上中等难度 3D AP 达到 86.92%，超越现有主流多模态方法。

应用场景

• 自动驾驶环境感知：替代现有检测器，提升路况中车辆行人3D检测精度。
• 无人机3D感知：用于无人机低空巡检，融合视觉与点云识别障碍物。
• 机器人多模态感知：作为机器人感知模块，提升复杂环境下的目标检测。