多阶段语义聚合网络

图文检索全面提效

通过分阶段融合全局与局部信息，在不增加推理复杂度的情况下，让跨模态对齐更细粒度、更稳健。

Zijing, Tian · 欧中洪 · Zhu, Yifan · Shuai, Lyu · Zhang, Hanyu · 肖井华 · 宋美娜

Information Processing and Management 2025

参数信息

Recall@sum 提升

13.3

Recall@sum 提升

2.8

Recall@sum 提升

4.7

技术优势

跨模态更全面

同时整合模态内与模态间的全局和局部信息，使表示更完整。

挖掘隐式语义

利用负样本队列和分层方案促进对比学习，提升模型从隐式信息中表达的能力。

全面性能提升

在 Flickr30k、MSCOCO (1K) 和 MSCOCO (5K) 上 Recall@sum 分别提升 13.3、2.8、4.7。

应用场景

• 视觉问答：提供更准确的跨模态特征，辅助视觉问答中的图像理解与答案推理。
• 多模态内容理解：增强对图文综合语义的建模能力，支持多模态内容分析与理解。
• 跨模态检索：提升图文互检的准确率，直接用于跨模态检索系统。