双向一致性对齐模型

图文匹配新SOTA

通过点级、集合级与顺序级三重一致性约束，实现双向跨模态对齐的精细化校正，提升图像-文本语义匹配的准确度。

Li, Zhe · Lei, Zhang · 张坤 · 张勇东 · Mao, Zhengdong

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

对齐结果更可信

通过点级、集合级、顺序级三重一致性约束，纠正了双向对齐中彼此矛盾的部分，使匹配决策基于更一致的对齐。

应用场景

• 视觉语言理解：用更一致的双向对齐提升视觉和语言语义关联的准确性。
• 跨模态检索：提升图文检索中对齐精度，从而提高排序质量。
• 多模态内容分析：提供更可靠的图文对齐，可作为多模态内容分析的基础模块。
• 图片描述生成：更准确的对齐可以辅助生成与图像内容更匹配的描述。