跨模态对齐网络

中文多模态实体识别

提出一种用于中文多模态命名实体识别的跨模态对齐模块，通过对比学习使文本与图像表示更一致，显著提升识别性能。

Bao, Xi Gang · Wang, Shouhui · Pengnian, Qi · 覃飙

Lecture Notes in Computer Science 2023

技术优势

图文对齐更准

通过对比学习让图像和文本表示更一致，从而提高识别准确率。

即插即用

两个模块与后续预测过程解耦，可以轻松集成到现有的中文 NER 模型中。

应用场景

• 多模态信息抽取：从图文混合数据中抽取实体信息，提升信息抽取的全面性。
• 中文自然语言处理：解决中文文本无自然分词导致的实体识别难题，结合图像辅助。