网格结构残差密集Transformer

单模型多任务图像复原

一种基于网格结构和残差密集块的新型Transformer骨干网络，通过增强注意力和局部信息强化，在多种恶劣天气图像复原任务中达到最优性能。

Tao, Wang · Zhang, Kaihao · Ziqian, Shao · Luo, Wenhan · Stenger, Bj̈orn · 路通 · Tae-Kyun, Kim · Wei, Liu · Li, Hongdong

International Journal of Computer Vision 2024

技术优势

效率更高

通过采样器和紧凑自注意力阶段，减少了自注意力的计算量，适合高分辨率图像复原。

局部细节更好

残差密集Transformer块（RDTB）融合了前序和当前局部特征，网络能学到更有效的表示，输出更清晰。

多项任务最优

在图像去雨、去雾、去雨去雾、去雪和多天气复原五个任务上达到最优，单模型覆盖多种场景。

应用场景

• 恶劣天气视觉感知：作为骨干网络用于去雨、去雾、去雪等预处理，提升感知算法在恶劣天气下的输入质量。
• 自动驾驶图像预处理：在自动驾驶中，将恶劣天气下的图像复原集成到感知流水线，提升检测和分割的可靠性。
• 户外视觉系统增强：增强户外摄像头在雨雾雪天的成像质量，便于后续分析或人工查看。
• 智能监控图像清晰化：提升监控画面的清晰度，使目标识别和跟踪在恶劣天气下更准确。