多粒度跨模态表示模型

社交文本实体识别精度跃升

通过细粒度图文语义交互,让每个词获得最有效的多模态引导,解决社交媒体短文本语义稀疏与图像噪声干扰的双重难题。

刘培培 · Gaosheng, Wang · Li, Hong · Jie, Liu · Ren, Yimo · 朱红松 · Sun, Linmin

Information Processing and Management 2024

参数信息

F1值(命名实体识别)
74.57 %

技术优势

补全短文本语义

对文本中每个词进行语义增强,缓解社交媒体短文本的语义不完整和数据稀疏问题。

细粒度对齐图文

在不同视觉粒度上进行文本与图像的语义交互,为每个词获取最有效的多模态引导表示,解决视觉噪声和不对齐问题。

超越现有最优

在两个基准数据集上均超过当前最好性能,表明该方法的有效性。

应用场景