多模态情绪识别框架

缓解类别不平衡

该框架通过样本生成和鼓励损失解决多模态对话情绪识别中的类别不平衡问题,提升少数情绪类别的识别能力。

Qianer, Li · 黄沛杰 · 徐禹洪 · 陈佳伟 · Yuyang, Deng · Shangjian, Yin

Engineering Applications of Artificial Intelligence 2024

参数信息

基准数据集数量
3
性能指标数量
2

技术优势

识别少数情绪类别

通过样本生成和鼓励损失,提升少数情绪类别的识别效果,弥补类别不平衡带来的性能下降。

保持对话连贯性

数据挖掘的过采样方法会破坏对话连贯性和模态对齐,而本框架的样本生成方法适用于多模态对话场景,不破坏原始对话结构。

已在多个数据集验证

在两个英文基准数据集和一个中文公开数据集上验证,并通过消融实验、案例研究和直方图可视化进一步证实效果。

应用场景