外部空间注意力聚合模块

即插即用对齐图文

一个即插即用的模块，通过空间维注意力实现模态特征的元素级融合，在不牺牲效率的前提下显著提升图像-文本检索精度。

朱洪光 · 张淳杰 · Yunchao, Wei · Shujuan, Huang · 赵耀

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

超越

83 倍

检索时间加速

3 倍

技术优势

单模型胜集成

相同视觉和文本骨干下，单个模型即可超越同类方法的集成模型。

即插即用

可作为外部模块插入现有检索系统，无需重新训练。

应用场景

• 多模态检索：用更少的算力获得更高精度，替代传统暴力预训练方案。
• 高效检索：在不增加延迟的情况下提升检索质量，适合大规模部署。