记忆增强检索模型

精度效率兼得

在独立嵌入范式中引入轻量记忆网络，既捕捉跨模态细粒度交互，又保持检索效率。

Li, Zhe · Lei, Zhang · 张坤 · 张勇东 · Mao, Zhengdong

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

跨模态细粒度交互

通过跨模态关联图学习图像区域与文本单词的细粒度对齐信息，并将其存储在记忆网络中，使独立嵌入也能捕捉局部语义关联。

检索效率不降低

推理阶段仅与记忆库中的原型特征交互，避免对图像区域和文本单词的逐一匹配，保持与独立嵌入方法相当的检索速度。

精度超越现有方法

在Flickr30K和MS-COCO两个基准上，IMEB的检索精度优于当前最先进的方法。

应用场景

• 图像文本检索：可直接用于图片搜索、以文搜图等场景，替换传统独立嵌入模型，提升检索精度。
• 多模态对齐：提供跨模态细粒度对齐信息，可作为多模态预训练或对齐任务的组件。
• 视觉语义理解：通过记忆网络编码视觉语义原型，可辅助图像内容理解与语义分析。
• 跨模态检索系统：在跨模态检索系统中作为高效高精度的嵌入模块，无需复杂交互即可部署。