双流时空情绪识别网络

远超现有方法

结合面部表情与身体姿态的双流时空模型，通过超图像卷积与注意力机制分别提取局部时空特征和关节独立特征，显著提升视频情绪识别准确率。

Wei, Jie · Guanyu, Hu · 杨新宇 · Anh Tuan, Luu · Dong, Yizhuo

Expert Systems with Applications 2024

技术优势

表情和姿态同时用

同时使用面部表情和身体姿态两种视觉信息，相比只用其中一种，识别准确率显著提升。

能抓全局时序

通过双流LSTM模型学习情绪变化的全局时间线索，而不只依赖相邻帧的上下文信息。

关节独立建模

注意力驱动的通道卷积模型为身体姿态中的每个关节独立学习特征，更好地利用关键关节信息。

应用场景

• 人机交互：让系统更准确地识别用户的情绪状态，从而做出更自然的交互响应。
• 服务机器人：帮助机器人理解用户的情绪，从而提供更贴心和个性化的服务。
• 情感计算：提供从视频中融合面部表情和身体姿态的情绪识别方法，推动情感计算研究。
• 心理状态监测：通过分析视频中的表情和姿态，实现非接触式的心理状态监测。