线性复杂度二维注意力
将RWKV的一维序列建模改造为二维各向同性特征聚合,以线性复杂度同时捕获长程依赖与多尺度空间结构,为高分辨率遥感分析提供高效的可扩展骨干。
李春山 · Rong, Wang · Yang, Xiaofei · 初佃辉 · 韩喜双 · Chu, Xiaowen
IEEE Transactions on Circuits and Systems for Video Technology 2025
注意力机制的计算复杂度为O(n),高分辨率图像处理的计算开销可控。
2D-WKV扫描机制在多个空间方向上聚合各向同性上下文,克服一维扫描的各向异性限制。
MVC-Shift模块优化多尺度感受野覆盖,提升对不同尺度目标特征的建模能力。
ECA模块改进跨通道特征交互和语义显著性建模,强化重要通道的响应。