跨模态哈希检索

通过模态解耦与标签精炼，缓解多模态数据不一致，提升跨模态检索准确率。

Li, Tieying · 杨晓春 · Ke, Yiping · 王斌 · Liu, Yinan · Jiaxing, Xu

2024

参数信息

检索准确率提升

25.13 %

技术优势

处理不一致数据

通过模态解耦与标签精炼，缓解模态间不一致与模态-标签不一致，使模型在真实数据上更鲁棒。

准确率显著提升

在两个多模态基准数据集上，较9种基线方法最高提升25.13%的检索准确率。

语义对齐更准

利用跨模态公共语义对齐模块，有效对齐不同模态的语义表示，提升检索相关性。

应用场景

• 跨模态检索：在图文、音视频等混合数据中高效查找语义相关实例。
• 多模态数据管理：管理含噪声和不一致的多模态数据，提升数据可用性。
• 多模态语义搜索：支持跨模态语义检索，返回语义匹配结果。
• 多模态哈希索引：生成高质量哈希码，加速大规模多模态检索。