跨模态异常检测器

五模态零样本迁移

该方法将学习目标从背景分布转化为偏差度量，在大间隔条件下实现跨模态零样本异常检测。

Li, Jingtao · 王心宇 · Zhao, Hengwei · Zhong, Yanfei

IEEE Transactions on Image Processing 2024

参数信息

跨模态检测模态数

5

技术优势

零样本跨模态检测

训练的模型无需任何微调即可直接应用于五种不同类型的遥感图像。

大间隔条件保证可迁移性

理论证明在标记样本中满足大间隔条件即可确保学习的偏差度量具有迁移能力。

应对真实异常样本难获取

通过模拟异常生成训练损失，不需要真实异常样本即可学习偏差度量。

应用场景

• 多模态遥感目标检测：直接对多源遥感图像检测异常目标，无需逐模态定制模型。
• 零样本学习：模型无需目标模态训练数据即可跨模态泛化。