红外可见融合更利下游
将分割网络与融合网络耦合到联合框架,共享多级跨模态特征,并通过语义驱动持续优化融合图像,增强语义表征能力。
Liu, Xiaowen · Huo, Hongtao · 李静 · Shan, Pang · Bowen, Zheng
Information Fusion 2024
通过共享多级跨模态特征,融合与分割网络在像素域和语义域协同优化,使融合图像具备语义表征能力,从而提升下游任务表现。
利用 mIoU 指标动态调整语义联合与驱动之间的权重,降低了双任务训练的复杂度,使训练过程更稳定。
分割和融合网络级联后持续优化融合图像,直接提升语义表示能力,因此在目标检测和语义分割实验中取得更优性能。