计算减半精度反升
通过将每个像素的注意力范围限制在其邻域上下文内，在降低计算成本的同时提升变化检测精度。
Hangling, Ma · Zhao, Lingran · 李兵权 · 牛瑞卿 · Wang, Yueyue
Remote Sensing 2023
DiNA将注意力限制在邻域内，避免了全局自注意力的二次复杂度，使计算成本降低一半。
与最具竞争力的最新Transformer方法相比，IoU显著提升5.3%，表明稀疏注意力在变化检测中更有效。
通过局部化注意力范围，模型无需大量数据即可训练，弥补了Transformer在视觉任务中缺乏归纳偏置的不足。