双融合BEV网络

检测精度提高

该双向交叉融合框架通过语义引导对齐和深度先验，有效改善多模态特征在BEV空间中的失准问题。

Yuting, Wan · 吕品 · 孙利国 · 杨宜菩 · Jiuwu, Hao

Knowledge-Based Systems 2024

参数信息

平均精度

72.6 %

NDS

75.4 %

技术优势

对齐准

利用语义引导对齐建立多传感器BEV特征间的软对应，捕获位置依赖，提升特征对齐精度。

深度估计更准

利用LiDAR点生成的高斯深度先验分布，提高视图变换的精度，改善了Z轴深度估计。

融合更充分

通过像素级语义涂装将图像语义信息嵌入LiDAR点云，实现更全面的场景理解。

应用场景

• 多模态3D物体检测：提升复杂场景下多模态融合的检测精度与对齐性能。
• 机器人感知融合：为机器人提供更可靠的BEV空间感知能力。
• 无人机环境感知：增强无人机在动态障碍物检测中的深度估计与语义理解。
• 自动驾驶感知：提升自动驾驶在复杂路况下的3D目标检测鲁棒性。