语义提示图像融合模型

融合质量与下游双优

该模型利用轮廓波自编码器分离不同模态的高低频成分，并通过正负提示增强对目标的识别，在统一框架内提升了红外与可见光图像的融合质量和下游任务性能。

刘金远 · Xingyuan, Li · Zirui, Wang · Jiang, Zhiying · 仲维 · Wei, Fan · Bin, Xu

IEEE/CAA Journal of Automatica Sinica 2024

技术优势

细节纹理清

轮廓波自编码器分离高低频成分，分别处理以更好地提取精细细节和纹理。

目标识别更准

利用正负提示学习机制，结合视觉语言模型，提升对多模态图像中目标的理解和识别，从而改善下游任务性能。

训练收敛更快

双层渐近收敛优化把复杂的非凸双层问题简化为一系列可微单层问题，可直接用梯度下降求解。

应用场景

• 视觉语言模型应用：用语义提示引导融合，便于将视觉语言模型直接用于图像理解任务。
• 多模态感知：结合红外热辐射与可见光纹理，提升复杂场景下的感知完整性。
• 图像融合系统：融合结果在细节和显著目标上质量更高，可直接替代现有融合组件。
• 多传感器数据融合：对红外和可见光两种传感器数据进行语义对齐融合，提升目标识别精度。