大核注意网络

线性复杂度全局建模

一种基于大核注意力的新型视觉骨干网络，同时捕捉空间和通道适应性，在多个视觉任务上以相似规模超越卷积网络和视觉Transformer。

国孟昊 · Lu, Chengze · Liu, Zhengning · 程明明 · 胡事民

Computational Visual Media 2023

参数信息

ImageNet top-1准确率

87.8 %

ADE20K语义分割mIoU

50.1

COCO目标检测AP

48.8

全景分割PQ

58.2

技术优势

计算复杂度线性

通过分解大核注意力，将自注意力的二次复杂度降为线性，高分辨率图像也能高效处理。

三大基准全面超越

在分类、检测、分割任务上以同等规模超越CNN和ViT，如ADE20K分割比Swin-T高4.0 mIoU，COCO检测高2.6 AP。

应用场景

• 视觉骨干网络：作为骨干网络替换现有CNN或ViT，提升多任务精度且不增加计算量。
• 具身智能感知：实时处理高分辨率感知输入，线性复杂度满足机器人响应要求。
• 医疗影像分析：对高分辨率医学图像进行高效全局建模，提升分割和检测精度。
• 工业视觉检测：在工业图像中兼顾大范围缺陷与精细纹理，提高质检准确率。