跨模态视图混合Transformer

多尺度特征全局对齐

以序列到序列的上下文传播建模双模态特征融合,摆脱卷积局部感受野限制。

Pang, Youwei · Zhao, Xiaoqi · 张立和 · 卢湖川

IEEE Transactions on Image Processing 2023

技术优势

全局信息对齐

通过视图混合注意力机制实现多尺度多模态特征的全局对齐与变换,突破卷积局部感受野的限制。

简单框架达SOTA

简单的双流编码器-解码器框架配合所提组件即可超越最新方法,无需复杂结构。

降低计算复杂度

设计无参数的patch-wise token重嵌入策略,简化操作,缓解注意力机制的二次复杂度问题。

应用场景