图感知预训练语言模型

通过将表情符号、话题标签和用户提及作为特征与文本共同建模,该模型在政治情感分析中取得了优于基线模型的性能。

Jean Aristide, Aquino · Di Jie, Liew · Chang, Yungchun

Engineering Applications of Artificial Intelligence 2025

参数信息

宏观召回率
64.73 %
宏观F1分数
68.72 %
数据集规模(人工标注)
8035
弱标注数据量
516000

技术优势

用上被忽略的符号

模型独特地将表情符号、话题标签和用户提及作为特征融入BERT-GCN架构,增强了语义理解,而不像以往研究那样丢弃这些元素。

基线之上再进一步

在不平衡数据集上,模型的宏观召回率达到64.73%、宏观F1分数达到68.72%,显著优于基线模型。

主题看得更清楚

通过结合BERT嵌入、LDA和LLR的主题建模框架,得到更清晰的主题簇,支持更深入的情感分析。

应用场景