可见-热视频分割网络

亮度不变性分割

引入热信息作为辅助模态，通过跨模态与跨帧传播实现复杂光照下的精确视频对象分割。

Yang, Jinyu · Mingqi, Gao · Runmin, Cong · Wang, Chengjie · 郑锋 · Leonardis, Aleš

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

RGB SOTA

5 %

技术优势

低光下也能分割

热信息不受光照变化影响，与可见光融合后提升复杂光照下的分割性能。

直接可用

数据和代码已开源，可获取并应用于实际任务。

应用场景

• 视频对象分割：作为基线分割器，嵌入视频处理流程处理低光视频。
• 多模态感知：为无人机、自动驾驶补充热感知信息，提升全天候能力。
• 低光监控：夜间监控中区分行人与背景，不受照明条件限制。
• 场景理解：提供可见光与热信息融合后的像素级对象解析结果。