多模态提示学习模型

表情识别精度大幅提升

融合表情符号与大语言模型生成的表情提示，克服了预定义模板的局限，显著提升面部表情识别鲁棒性。

裴二成 · He, Zhao · Tingrui, Zhang · 蒋冬梅 · 何浪 · Chen, Haifeng

Information Fusion 2026

参数信息

准确率

93.28 %

准确率

67.69 %

准确率

59.46 %

准确率

91.49 %

技术优势

跨模态差距缩小

引入表情符号图像作为额外的视觉提示，在文本表情描述和面部表情图像之间建立桥梁，改善特征对齐和相似度计算。

提示更丰富

利用大语言模型基于面部动作单元和心理学情绪理论生成语义丰富的文本表情提示，引导模型关注关键面部特征，提升识别准确率和跨数据集泛化能力。

应用场景

• 人机交互：提升人机交互中的表情识别精度，提供更自然的用户体验。
• 心理健康分析：辅助通过面部表情识别进行心理健康评估。
• 智能教育：用于智能教育中的学习情绪分析。
• 安全监控：增强安全监控中可疑行为识别。