双模态先验语义融合网络

语义保真与视觉增强兼得

通过双模态先验语义引导与多级特征自适应融合，在保持红外与可见光图像融合显著视觉质量的同时，明确提升下游语义分割精度。

李静 · 白璐 · 杨彬 · 李畅 · 马凌飞 · 崔丽欣 · Hancock, Edwin R.

IEEE Transactions on Intelligent Transportation Systems 2025

参数信息

融合定量指标

4

技术优势

语义分割精度最高

通过两个并行语义分割分支的RFaM机制感知各模态中语义显著的区域，并在融合时显式保留这些先验语义，使融合结果在下游语义分割任务中取得最高mIoU。

语义保真与视觉增强兼得

MRaF模块将低频先验语义与高频细节显式整合，在保留语义信息的同时维持了显著的视觉效果，避免了单纯追求像素重建带来的语义丢失。

应用场景

• 自动驾驶感知：提供语义保真的融合图像，提升车辆对行人和车辆的检测与分割精度。
• 智能交通监控：在低光照或恶劣天气下融合红外与可见光信息，增强交通场景实时语义理解。
• 多模态传感器融合：通过双模态先验语义引导融合，为多传感器系统提供高质量统一表示。