相似图文更可分
与现有方法只考虑模态间关系不同，该模型引入模态内细粒度语义和未匹配片段，显式抑制相似图文对带来的语义干扰。
姚涛 · Shouyong, Peng · 孙玉娟 · Sheng, Guorui · 付海燕 · 孔祥维
Engineering Applications of Artificial Intelligence 2024
通过引入模态内细粒度语义，在嵌入空间中将相似图像或文本推开，减少相似样本间的混淆，使匹配结果更准确。
利用未匹配片段提供区分相似图像或文本的明确线索，直接抑制跨模态语义干扰，而不是仅依赖模态间关联。
在两个流行的多模态数据集上，该方法的性能优于一系列基线模型，验证了其有效性。