跨模态情感提示框架

开放集识别精度跃升

通过分层提示学习将多模态情感特征对齐，使模型能同时识别已知情感类别并可靠检测未知情感，为开放环境下的情感识别提供新方案。

刘袁缘 · Shuyang, Liu · Jiahao, Zhang · Ke, Wang · 唐厂 · 陶大鹏 · Chen, Zhe · Xiang, Wei

Information Fusion 2026

参数信息

相对AUROC提升

16.79 %

相对OSCR提升

28.49 %

技术优势

能识别未知情感

通过双流提示驱动的开放集学习，联合优化已知情感分类和未知情感检测。

多模态对齐增强

语义级多模态情感对齐提示从结构上对齐并融合跨模态情感线索，缓解模态间语义异构。

应用场景

• 情感脑机接口：用于识别用户未明确表达的情感状态，增强交互体验。
• 心理健康监测：检测异常情绪波动，辅助抑郁等心理问题的早期筛查。
• 情感机器人：使机器人感知人类未表达的情感，做出更自然回应。
• 行为分析系统：从多模态行为数据中识别隐藏情绪，提升分析可靠性。