跨模态检索更准
通过挖掘文本词间语义相关性构建更准确的实例相似度矩阵,并引入自重定义相似度损失纠正错误相似度,提升无监督跨模态哈希检索性能。
Tu, Rongcheng · 毛先领 · Lin, Qinghong · Wenjin, Ji · Weize, Qin · 魏巍 · 黄河燕
IEEE Transactions on Multimedia 2023
通过挖掘文本数据点中词与词的相关性来构造文本模态相似度矩阵,替代简单的词袋余弦相似度,从而更准确地捕捉文本的语义相似性,为哈希网络训练提供更可靠的指导。
提出自重定义相似度损失,在训练过程中进一步修正实例相似度矩阵中可能被错误定义的相似度,从而提升检索性能。
在两个广泛使用的数据集上的大量实验表明,该方法在跨模态检索任务上优于最先进的基线方法。