多模态图对比编码器

细粒度语义对齐

通过跨模态语义单元细粒度交互，该编码器在图文翻译中实现多模态语义精确对齐。

Yin, Yongjing · Zeng, Jiali · Su, Jinsong · Zhou, Chulun · Meng, Fandong · Zhou, Jie · Huang, Degen · Jiebo, Luo

Artificial Intelligence 2023

技术优势

跨模态对齐更精细

将词和视觉对象作为图中的节点，通过模态内与模态间边进行迭代交互，捕捉细粒度语义对应。

训练更鲁棒

渐进式对比学习策略逐步引入困难负样本，使模型在训练中更好地区分语义。

应用场景

• 多模态机器翻译：用于带图文本的翻译，利用视觉信息消解歧义。
• 多模态语义理解：通过图结构捕捉多模态语义单元间的对应关系。