社交文本实体识别精度跃升
通过细粒度图文语义交互,让每个词获得最有效的多模态引导,解决社交媒体短文本语义稀疏与图像噪声干扰的双重难题。
刘培培 · Gaosheng, Wang · Li, Hong · Jie, Liu · Ren, Yimo · 朱红松 · Sun, Linmin
Information Processing and Management 2024
对文本中每个词进行语义增强,缓解社交媒体短文本的语义不完整和数据稀疏问题。
在不同视觉粒度上进行文本与图像的语义交互,为每个词获取最有效的多模态引导表示,解决视觉噪声和不对齐问题。
在两个基准数据集上均超过当前最好性能,表明该方法的有效性。