特征自适应融合检测网络

融合检测双双提升

通过特征自适应桥接，将多模态融合与目标检测带入统一特征空间，突破传统单向优化的局限。

董爱美 · Long, Wang · Jian, Liu · Jingyuan, Xu · Zhao, Guixin · Zhai, Yi · 吕国华 · Cheng, Jinyong

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

融合检测同时提升

通过特征自适应选择模块，融合网络获得更多目标语义信息，检测网络也利用融合后的高质量特征，两个任务相互增强。

解决特征差异问题

引入特征自适应互连模块，将融合和检测任务的不同特征映射到统一特征空间，有效管理特征差异。

训练方式高效稳定

采用交替训练策略，两个任务在训练过程中逐步相互提升，避免了直接联合训练的优化困难。

应用场景

• 多模态融合感知：融合可见光与红外图像，在光照不佳时保持目标清晰，提升全天候感知能力。
• 视觉目标检测：利用融合后包含更多语义信息的特征，提高检测器在小目标和遮挡场景下的鲁棒性。
• 工业视觉检测：在复杂工业场景中融合多模态图像，提升缺陷检测的准确率和稳定性。
• 无人机遥感：处理无人机多源图像，同时提高融合质量和地面目标检测效果，适用于遥感任务。