跨模态增强融合网络

暗光噪声也精准

利用微波散射反演图像增强视觉特征，通过双模态注意融合在低质量光学输入下提升识别准确性。

谭敏 · Tao, Jin · Danhui, Ye · 徐魁文 · 顾晓玲 · 俞俊

IEEE Transactions on Geoscience and Remote Sensing 2023

技术优势

低质量图像也能识别

利用微波散射反演图像补充视觉信息，克服光学图像质量差的问题。

跨模态融合提升精度

跨模态生成器与多模态识别器联合学习，有效融合视觉和微波特征，提高识别性能。

注意力突出兴趣区域

视觉子网络中加入注意力模块，强调目标区域，进一步提升识别效果。

应用场景

• 多模态目标识别：在低质量光学条件下融合微波图像，替代纯光学识别方案，提升目标识别可靠性。
• 恶劣环境感知：在恶劣环境中利用微波散射反演图像增强视觉，维持稳定感知。
• 多模态融合感知：通过跨模态注意力融合视觉与微波特征，提高感知精度和鲁棒性。