线性映射视觉Transformer

简化自注意力

用线性映射替代自注意力，证明分层ViT性能主要来自宏观架构而非注意力机制，为轻量化设计提供依据。

Fang, Yuxin · 王兴刚 · Wu, Rui · 刘文予

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

计算更简单

用线性映射替代自注意力，避免了复杂计算。

迁移学习给力

利用ImageNet预训练权重，在目标检测等下游任务上表现有竞争力。

应用场景

• 机器人视觉识别：更简洁的架构提升部署效率，轻量化适配嵌入式设备。
• 医学图像检测：作为通用骨干网络提供竞争性特征提取，辅助病灶检测。
• 工业质检：预训练模型直接用于缺陷检测，降低算力门槛。
• 轻量化AI模型：用线性映射省掉自注意力，为轻量化设计提供依据。