点云图像融合MCHFormer模型

多级跨模态融合

通过多交叉Transformer融合点云与图像特征,提升三维目标检测的定位精度和泛化能力。

Feng, Cao · Jun, Xue · Tao, Chongben · Luo, Xizhao · Gao, Zhen · 72212365 · 郑四发 · Yuan, Zhu

IEEE Transactions on Intelligent Vehicles 2023

技术优势

多级融合对齐点云与图像

点特征投影到图像和BEV特征上,获得高度耦合的多模态信息,实现点云与图像信息对齐,缓解降采样变换中局部与全局信息不匹配问题。

多交叉Transformer增强空间感知

多交叉Transformer融合多种单模态数据成具有更强空间感知的混合表示,提升三维目标检测精度与泛化能力。

真实道路场景有效

在真实道路场景中验证,检测效果准确,证明模型具有实际应用潜力。

应用场景