数据稀缺下增益显著
通过约束自注意力在空间连通 token 间进行交互，使 ViTs 层次化推理更一致且易于解释。
Haoling, Li · Xue, Mengqi · 宋杰 · Zhang, Haofei · 黄文琦 · Lingyu, Liang · 宋明黎
Computer Vision and Image Understanding 2023
仅让空间上可连通的token互相注意，排除无关依赖，使注意力集中在有意义的邻居上，从而更利于优化。
在数据稀缺场景下，该约束帮助模型更好优化，带来显著性能提升。
该模块计算开销极小，可以即插即用于不同ViT变体而不增加负担。
随着层加深，小的成分逐渐合并成大成分，形成层次结构，使内部工作机制更容易解释。