多模态细粒度情感抽取

实体类别情感同步识别

基于预训练生成模型，将实体、细粒度类别与情感极性联合抽取转化为自然语言生成，实现多模态信息下的同步识别。

Yang, Li · Jieming, Wang · Na, Jin-cheon · 俞建飞

Knowledge-Based Systems 2023

技术优势

实体不再有歧义

将实体类别细粒度化，使实体拥有更具体的类型信息，从而在上下文中更容易被区分开。

三元组一次生成

把实体-类别-情感三元组线性化为自然语言句子，用预训练生成模型一次性生成，避免多阶段流水线的误差累计。

子任务相互关联

同时抽取实体、类别和情感，让三者共享信息，弥补了以往单任务模型忽略子任务间关联的缺陷。

应用场景

• 多模态情感分析：把情感分析从单模态扩展到图文联合，一次性得到实体、类别和情感三元组，省去多个独立模型的串联。
• 细粒度实体识别：实体类别不再是粗粒度大类，而是细粒度小类，让实体在语境中更容易被准确分辨。
• 社交媒体文本挖掘：在推特这类多模态社交媒体数据上，能同时挖出实体、细粒度类别和情感极性，适合分析用户讨论中的对象与态度。
• 自然语言生成：将结构化抽取视为自然语言生成问题，用预训练生成模型直接输出三元组序列，为信息抽取提供新思路。
• 多模态内容理解：结合图像和文本的双模态特征，同时解析其中的实体、细粒度类别和情感，提升对多模态内容的深层理解。