图增强零样本网络

细粒度知识迁移

借助大模型语义嵌入与凸组合增强知识图谱，在ImageNet21K上实现更可靠的细粒度零样本识别。

陈星宇 · Jiaxu, Liu · 74038051 · Wan, Lipeng · 兰旭光 · 郑南宁

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

语义嵌入更可靠

采用大语言模型和视觉语言模型提取语义嵌入，相比传统词向量能更好地刻画细粒度类别间的语义关系。

图谱连接更充分

基于语义嵌入的凸组合关系全局增强知识图谱，为非亲缘但强相关的可见与未见类建立边并赋予重要性分数。

训练中知识传递增强

提出一种新的正则化器，在训练过程中局部增强知识传递，进一步利用增强后的图谱指导未见类学习。

应用场景

• 细粒度图像识别：识别未见过的细粒度类别，无需额外标注数据。
• 机器人视觉感知：让机器人识别未见过的物体细分类别。
• 知识驱动推理：利用知识图谱传递语义关系进行推理。