缓解类别不平衡
该框架通过样本生成和鼓励损失解决多模态对话情绪识别中的类别不平衡问题,提升少数情绪类别的识别能力。
Qianer, Li · 黄沛杰 · 徐禹洪 · 陈佳伟 · Yuyang, Deng · Shangjian, Yin
Engineering Applications of Artificial Intelligence 2024
通过样本生成和鼓励损失,提升少数情绪类别的识别效果,弥补类别不平衡带来的性能下降。
数据挖掘的过采样方法会破坏对话连贯性和模态对齐,而本框架的样本生成方法适用于多模态对话场景,不破坏原始对话结构。
在两个英文基准数据集和一个中文公开数据集上验证,并通过消融实验、案例研究和直方图可视化进一步证实效果。