多尺度特征全局对齐
以序列到序列的上下文传播建模双模态特征融合,摆脱卷积局部感受野限制。
Pang, Youwei · Zhao, Xiaoqi · 张立和 · 卢湖川
IEEE Transactions on Image Processing 2023
通过视图混合注意力机制实现多尺度多模态特征的全局对齐与变换,突破卷积局部感受野的限制。
简单的双流编码器-解码器框架配合所提组件即可超越最新方法,无需复杂结构。
设计无参数的patch-wise token重嵌入策略,简化操作,缓解注意力机制的二次复杂度问题。