语义增强多级对齐网络

图文检索精度跃升

通过过滤无语义词、嵌入空间关系和全局-局部多级对齐，实现更精准的图像-文本匹配。

Jia, Chen · 张鸿

Multimedia Tools and Applications 2024

技术优势

滤掉干扰词

通过词嵌入后的多头自注意力抑制无语义词，使区域-词对齐免受干扰，提高匹配可靠性。

空间关系纳入了

修改自注意力权重以嵌入区域间相对位置和尺寸信息，让模型理解图像构成，检索时更能抓住内容特征。

多级对齐更精细

多级对齐模块综合全局与局部匹配，挖掘词与区域在不同语境下的深层语义，提升整体检索性能。

应用场景

• 图文检索：替换现有粗粒度对齐模型，提升跨模态检索准确率。
• 多模态内容理解：从空间关系和深层语义上增强多模态特征表达。
• 智能搜索：支撑更精准的图文搜索引擎，减少无关结果。