文本感知少样本分类器

多模态知识迁移

将类别名称扩展为详细文本描述,通过文本与图像特征关联来把握场景核心概念,在少样本条件下显著优于现有方法。

Cheng, Kaihui · Yang, Chule · Fan, Zunlin · Wu, Dayan · Guan, Naiyang

2023

技术优势

跨模态知识互补

利用预训练文本编码器将类别名称扩展为更详细的文本描述,提取文本特征并与图像特征关联,使模型能够把握输入图像的核心概念,弥补仅依赖视觉模态的信息不足。

少样本性能卓越

通过文本与图像特征的关联以及支持集与查询集局部特征相似度计算,TeAw 在少样本条件下取得了优于其他最先进方法的识别效果,显著缓解了对大量标注数据的依赖。

应用场景