多粒度融合分类模型

融合网络前层局部特征与全局语义，缓解细粒度分类中背景干扰和局部差异不明显的问题。

许扬 · Shanshan, Wu · Biqi, Wang · Ming, Yang · 吴泽彬 · Yazhou, Yao · 韦志辉

Pattern Recognition 2024

技术优势

融合多粒度特征

该模块通过融合不同粒度的特征来综合表示图像，避免了单一尺度特征的局限性，从而捕捉到细微的局部差异。

抑制背景干扰

利用ViT模型以极小的成本将目标与背景分离，降低背景干扰对预测的影响，从而提高分类准确性。

应用场景

• 细粒度图像识别：用于区分外观相似但属于不同子类的物体，如鸟类品种。
• 视觉Transformer：利用ViT的注意力机制分离目标与背景，提升模型鲁棒性。
• 鸟类识别：在两个鸟类数据集上验证了模型的有效性。
• 图像检索：提取的特征可用于检索相似图像。