RCFusion多模态融合网络

BEV空间稳健融合

在统一的鸟瞰图空间中通过共享注意编码器和交互注意模块,实现相机图像与4D雷达点云特征的有效对齐融合,提升3D目标检测鲁棒性。

Zheng, Lianqing · Li, Sen · 谭彬 · Long, Yang · 陈思汉 · Huang, Libo · Bai, Jie · Xichan, Zhu · Zhixiong, Ma

IEEE Transactions on Instrumentation and Measurement 2023

技术优势

精细图像BEV特征

通过设计的共享注意编码器对正交特征变换后的图像特征进行增强和细化,生成精细的图像BEV特征,提高对远处和小目标的检测能力。

雷达特征高效编码

新设计的Radar PillarNet组件将4D雷达点云高效编码为雷达伪图像,再经点云骨干网生成雷达BEV特征,充分利用4D雷达的密集点云和高度信息。

有效融合

提出的交互注意模块在融合阶段对两种模态的BEV特征进行交互加权,输出有效的融合特征,提高检测精度和鲁棒性。

应用场景