混合移位窗口视觉变换器

兼顾长短期依赖

针对胃肠道内窥镜图像中广泛分布目标特征提取的不足，有效融合长短期依赖，提升内窥镜图像分类表现。

Wang, Wei · 杨欣 · 唐金辉

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

分类准确率

95.42 %

分类准确率

86.81 %

技术优势

同时捕获长短期依赖

混合移位窗口使模型能同时获取短程和长程依赖，解决广泛分布目标的特征表示问题。

超越现有最佳方法

在Kvasir v2和HyperKvasir数据集上分别达到95.42%和86.81%的准确率，优于现有最佳方法。

应用场景

• 内窥镜图像分析：自动分类胃肠道内窥镜图像，减少医生工作负担并提高诊断准确性。
• 医学图像分类：为该模态提供了一种能捕获广泛目标长程依赖的分类模型。
• 视觉模型：设计混合移位窗口，使视觉Transformer能同时获取短程和长程依赖。