红外可见高效融合
基于窗口自注意力和双重判别器,该网络能同时捕获多尺度特征并保留红外热辐射与可见光纹理细节。
Zhai, Yi · Baoping, Song · Cheng, Jinyong · 董爱美 · 吕国华
IEEE Transactions on Emerging Topics in Computational Intelligence 2025
通过移动窗口机制,相邻窗口之间可以交互,从而实现跨窗口连接,让网络获得全局建模能力而不牺牲效率。
自注意力只在窗口内计算,而不是在整个图像上计算,显著减少了序列长度并提高了效率。
双判别器确保融合图保留并增强红外和可见光图像中不同语义物体的独特模态特征,使得两种信息在最终输出中达到最优分布。
STAFusion在公开数据集上能很好地保留红外热辐射和可见光纹理细节,定量和定性结果都证明其优于现有图像融合技术。