细粒度多模态联合抽取模型

多词实体识别更准

通过短语-图像块对齐和门控融合机制，在多模态实体关系联合抽取中实现更准确的表示和噪声抑制。

Li, Yuan · 蔡毅 · Jingyu, Xu · Li Q. · Wang, Tao

IEEE Transactions on Knowledge and Data Engineering 2024

技术优势

多词实体更准

多词解码器集成相邻词对的预测结果，提升多词实体的抽取能力。

图像噪声更少

门控融合模块抑制与任务无关的图像信息，平衡图像对象和文本表示。

跨模态对齐更强

细粒度对齐模块利用短语-图像块连接文本短语和视觉对象，学习一致的多模态表示。

应用场景

• 多模态信息提取：从图文数据中同时抽取实体和关系，服务多模态信息提取任务。
• 视觉语言理解：提升视觉与语言的对齐和融合，增强跨模态理解能力。
• 知识图谱构建：从多模态数据中抽取结构化信息，用于构建知识图谱。