跨模态Fusion-Mamba目标检测方法

门控注意力抑制伪目标

通过改进Mamba的门控注意力机制，在隐藏状态空间中关联跨模态特征，有效抑制伪目标信息，增强模型对真实目标的关注。

Wenhao, Dong · Haodong, Zhu · 林绍辉 · 罗晓燕 · Shen, Yunhang · Guo, Guodong · 张宝昌

IEEE Transactions on Multimedia 2025

参数信息

mAP提升（M³FD）

5.9 %

mAP提升（DroneVehicle）

3.5 %

mAP提升（FLIR-Aligned）

2.1 %

技术优势

抑制伪目标，注意力更聚焦

通过在隐藏状态空间中进行深度融合，DSSF模块有效抑制伪目标信息，使模型将注意力集中于真实目标区域，提升检测性能。

跨模态特征有效关联

通过状态空间通道交换（SSCS）模块促进浅层特征融合，并以改进的Mamba为骨干，将跨模态特征映射到同一隐藏状态空间进行交互，实现多模态信息的互补与增强。

性能超越现有方法

在M³FD、DroneVehicle和FLIR-Aligned三个基准数据集上，mAP分别提升5.9%、3.5%和2.1%，证明方法具有优越的泛化性能。

应用场景

• 多模态感知：将RGB与红外特征有效融合，提高复杂环境下感知可靠性。
• 无人机视觉：抑制伪目标干扰，提升无人机对真实目标的检测精度。
• 自动驾驶感知：增强多模态目标检测，助力自动驾驶在夜间、恶劣天气下的环境感知。