跨模态检索精度提升
将模态私有信息与公共语义解耦,并通过对抗方式增强公共特征,使哈希码更具判别性和鲁棒性。
孟敏 · Jiaxuan, Sun · Liu, Jigang · 俞俊 · 武继刚
IEEE Transactions on Circuits and Systems for Video Technology 2023
将每个模态的特征解耦为语义公共特征和干扰私有特征,并通过打乱私有特征进行对抗学习,使公共特征更有判别力。
引入变分信息瓶颈,避免高维特征压缩成低维哈希码时丢失大量语义信息。
对比实验和消融实验表明,SDAH的检索性能优于其他先进方法。