语义增强多模态哈希

多标签检索更准

通过FoldCoder与HashCoder协同，在完整多模态表征学习中引入提示学习与双重约束，使微视频多标签检索的哈希编码更具判别力。

Liu, Ye · Haoyi, Sun · 聂礼强 · Yun, Li · 苏育挺

IEEE Transactions on Knowledge and Data Engineering 2023

技术优势

语义不丢

FoldCoder 将多标签语义作为提示引导表征学习，避免信息在融合中遗漏。

判别性更高

HashCoder 联合成对约束与中心约束，同时保持局部相似结构和全局标签分布，缓解多标签语义模糊。

检索更准

在 Flickr25K 上 mAP@5000 达到 0.842，超过现有方法。

应用场景

• 多模态检索：在图文、音视频混合检索中，用统一哈希码匹配多种模态数据。
• 视频检索：为微视频提供高效存储与快速检索，支持多标签查询。
• 哈希学习：生成判别性哈希码，降低大规模数据检索的计算与存储成本。