图像情感识别网络

全局与局部特征融合

通过结合视觉Transformer的全局自注意力与多尺度局部特征，显著提升了图像情感分类的准确率。

Yutong, Luo · Xinyue, Zhong · Zeng, Minchen · Xie, Jialan · Shiyuan, Wang · 刘光远

IEEE Transactions on Multimedia 2023

参数信息

数据集上识别准确率

75.61 %

数据集上识别准确率

65.01 %

技术优势

跨尺度Transformer增强表示

在全局特征分支中使用跨尺度Transformer网络替代卷积操作，增强了模型的全局特征表示能力。

局部显著性引导

基于类激活图的局部注意力模块引导网络聚焦于局部显著区域，这些区域可能产生情感优先效应。

应用场景

• 情感计算：为情感计算提供一个高性能的图像情感识别模型，可直接用于情感分析任务。
• 人机交互：通过准确识别用户情绪，优化人机交互中的情感反馈与体验。
• 心理健康监测：辅助心理健康监测，通过图像情感分析评估个体情绪状态。
• 智能安防：在智能安防中识别异常情绪，提高监控系统的预警能力。