双模态注意力增强检索模型

跨模态检索精度提升

通过自适应硬负样本挖掘与三重组部分边缘对比学习，该模型在文本-视频检索任务中实现了对细微语义差异的精确建模。

Chen, Jiang · Hong, Liu · Yu, Xuzheng · Qing, Wang · Cheng, Yuan · Jia, Xu · Liu, Zhongyi · Guo, Qingpei · Chu, Wei · Yang, Ming · Yuan, Qi

2023

技术优势

硬负样本被充分挖掘

双模态注意力模块从文本和视觉线索中挖掘难负样本，并通过负感知InfoNCE损失自适应地突出它们的影响，使模型判别能力更强。

四个基准上全面领先

在MSR-VTT、MSVD、DiDeMo和ActivityNet四个广泛使用的数据集上均超过现有方法，验证了方法的泛化性能。

应用场景

• 视频推荐系统：更准确地根据标题和描述匹配视频内容，提升推荐的相关性。
• 智能搜索引擎：增强查询与视频片段之间的语义匹配，返回更贴合意图的结果。
• 多模态内容过滤：识别语义上不匹配的视频，帮助过滤不当或无关的多模态内容。