层级关系建模网络

跨模态匹配精度新高

同时建模片段级与实例级关系，强化困难负样本区分与低频样本共享知识迁移。

Fu, Zheren · Mao, Zhengdong · 宋彦 · 张勇东

2023

参数信息

Flickr K rSum

80.3 %

MS-COCO rSum

76.5 %

技术优势

困难负样本分得更准

显式建模样本间关系，帮助模型学习微妙差异，从而更准确地区分语义相近但不相符的图文对。

低频样本也能借力

通过实例级关系传递共享知识，缓解低频样本训练不充分的问题，提升整体嵌入的鲁棒性。

公开代码直接可用

代码已在 GitHub 开源，便于复现实验或集成到现有图文匹配流程中。

应用场景

• 多模态检索：提升图文检索精度，尤其困难负样本。
• 跨模态预训练：为跨模态预训练提供更强关系建模。
• 智能搜索：增强搜索中图文匹配的语义理解。