跨域判别视觉Transformer

异构跨域高光谱分类

设计了一种用于异构跨域高光谱图像分类的判别视觉Transformer，通过跨注意力与知识蒸馏实现域间对齐，在小样本情况下实现有效分类。

叶敏超 · Jiawei, Ling · Huo, Wanli · Zhaojuan, Zhang · Xiong, Fengchao · 钱沄涛

IEEE Transactions on Geoscience and Remote Sensing 2024

技术优势

让源域数据可训练目标分类器

通过编码器-解码器将源域样本映射到目标域，映射后的数据能直接用来训练目标分类器，相当于给目标域增加了可用标注。

同时对齐域与类别特征

利用跨注意力机制分别构建域级和类级特征对齐模块，结合域判别器学习域不变特征，减轻域偏移。

用目标域自身知识辅助分类

采用知识蒸馏从目标域学习更多信息，辅助目标样本分类，进一步利用无标注或少量标注的目标数据。

应用场景

• 高光谱图像分类：可直接部署到不同传感器或区域的高光谱分类任务，无需大量重标数据。
• 遥感图像处理：用于遥感影像的跨场景地物分类，减少对目标区域标注的依赖。
• 迁移学习：实现异构高光谱数据间的知识迁移，解决目标域小样本问题。