多级跨模态融合
通过多交叉Transformer融合点云与图像特征,提升三维目标检测的定位精度和泛化能力。
Feng, Cao · Jun, Xue · Tao, Chongben · Luo, Xizhao · Gao, Zhen · 72212365 · 郑四发 · Yuan, Zhu
IEEE Transactions on Intelligent Vehicles 2023
点特征投影到图像和BEV特征上,获得高度耦合的多模态信息,实现点云与图像信息对齐,缓解降采样变换中局部与全局信息不匹配问题。
多交叉Transformer融合多种单模态数据成具有更强空间感知的混合表示,提升三维目标检测精度与泛化能力。
在真实道路场景中验证,检测效果准确,证明模型具有实际应用潜力。