交叉模态对比对抗哈希

细粒度跨媒体检索

将结构感知与细粒度语义推理相结合，提升跨媒体哈希编码的语义判别力。

梁美玉 · 李雅文 · Yang, Yu · Xiaowen, Cao · Zhe, Xue · 里昂 · Kangkang, Lu

IEEE Transactions on Knowledge and Data Engineering 2024

技术优势

结构信息引导

利用语义标签图卷积网络充分利用语义结构信息，增强隐含跨媒体语义关联的学习能力。

应用场景

• 跨媒体检索：为跨媒体检索提供统一的哈希表示，提升语义判别力和一致性。
• 多模态语义搜索：通过细粒度语义推理捕获不同模态的显著特征，增强隐含关联的检索能力。
• 大规模数据哈希索引：利用图卷积和对抗学习提升哈希表示在大规模数据上的判别力。