精细化知识迁移模型

该模型通过图像和文本间的跨模态与模态内知识迁移，增强文本中的身份知识，并利用知识精炼器保留身份信息、丢弃无关信息，从而提升基于语言的人员搜索性能。

Wu, Ziqiang · 马丙鹏 · Hong, Chang · Shiguang, Shan

IEEE Transactions on Multimedia 2023

技术优势

补足文本身份知识

通过跨模态知识迁移，从图像中提取身份信息补入文本，解决文本知识不足的问题。

利用多文本互补

同一图像对应多个文本时，模态内知识迁移可整合更多身份信息，增强文本表征。

过滤无关知识

知识精炼器在迁移后保留身份信息、丢弃无关知识，避免噪声损害匹配精度。

跨数据集泛化

在 Flickr30K、CUB、Flowers 上验证了良好的泛化能力，不仅限于行人搜索场景。

应用场景

• 智能安防监控：为安防监控提供自然语言描述即可定位人员，无需大量图像标注。
• 跨模态行人检索：提升文本到图像的检索精度，适合仅有文字线索的跨模态查人场景。
• 多模态机器人交互：让机器人理解语言指令并关联视觉目标，实现自然的人机协作。
• 视觉语言导航：强化指令中的身份与场景知识，提升导航中对目标物体的辨识。
• 多模态数据检索：用文本查询跨模态数据库，提高多模态检索的准确率。