语义耦合融合网络

红外可见融合更利下游

将分割网络与融合网络耦合到联合框架,共享多级跨模态特征,并通过语义驱动持续优化融合图像,增强语义表征能力。

Liu, Xiaowen · Huo, Hongtao · 李静 · Shan, Pang · Bowen, Zheng

Information Fusion 2024

技术优势

语义信息更完整

通过共享多级跨模态特征,融合与分割网络在像素域和语义域协同优化,使融合图像具备语义表征能力,从而提升下游任务表现。

训练更易平衡

利用 mIoU 指标动态调整语义联合与驱动之间的权重,降低了双任务训练的复杂度,使训练过程更稳定。

对下游更友好

分割和融合网络级联后持续优化融合图像,直接提升语义表示能力,因此在目标检测和语义分割实验中取得更优性能。

应用场景