弱对齐RGB-T行人检测网络

温差下仍精准定位

针对多模态弱对齐问题，网络通过可变形交叉注意力自适应捕捉颜色与热成像间的空间对应关系，提升真实场景下的检测可靠性。

Yu, Hu · 陈小波 · Sheng, Wang · Luyang, Liu · Hengyang, Shi · Lihong, Fan · Jing, Tian · Liang, Jun

IEEE Transactions on Multimedia 2025

技术优势

不要求严格配准

采样偏移生成时纳入每个像素的位置信息，即使热成像与彩色图像未精确对齐或配准，检测性能仍能保持稳健。

计算量更小

采用局部注意力机制，每个查询仅采样特征图上限定区域内的少量键和值，显著降低了计算复杂度。

应用场景

• 自动驾驶感知：在夜间或恶劣天气下，利用热成像与彩色图像的弱对齐融合，提升行人检测的可靠性，减少漏检。
• 机器人视觉：赋予机器人在光照变化或弱光环境中稳定感知行人的能力，无需精确标定多模态传感器。
• 多模态融合感知：通过可变形交叉注意力自适应建模模态间空间对应，替代依赖严格配准的传统融合方式。