多尺度递归融合Transformer

低级比特深度增强

提出一种多尺度递归融合Transformer框架,通过先验注入和循环查询键机制,实现低级比特深度图像的高质量增强。

Wen, Xin · 聂为之 · 刘静 · 苏育挺

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

能捕捉长距离依赖

采用标准自注意力的先验注入上下文编码器提取全局上下文,关联空间上相距较远的内容,以区分长距离假轮廓。

可提取多尺度细节

多尺度局部特征编码器利用不同窗口大小的局部自注意力机制,捕获不同尺度的细节特征。

渐进融合全局与局部

通过循环查询键机制,全局到局部信息逐步融合,层次递归解码器融合多尺度视觉信息与全局引导。

缓解数据稀缺困境

通过预参数化全局辅助先验的两阶段交替优化策略,显著缓解数据稀缺域上的训练困境。

应用场景