金字塔时序情感网络

一个由面部表情特征金字塔与时间Transformer编码器组成的时空框架，用于序列级情感水平估计，在三个典型任务上达到或超越现有方法。

廖嘉城 · Yan, Hao · Zhuoyi, Zhou · Jiahui, Pan · 梁艳

Pattern Recognition 2024

技术优势

连续估计情感水平

框架对序列进行连续情感水平估计，而非离散的表情分类，更接近真实场景。

同时捕捉粗细粒度时序变化

时间 Transformer 编码器能有效捕捉面部序列的粗粒度和细粒度时序变化。

在三个典型任务上达到领先水平

在参与度预测、疲劳检测和疼痛评估三个典型任务上，性能与最先进算法相当或更优。

应用场景

• 情感计算：为需要连续情感水平的应用提供可直接集成的模型。
• 疲劳检测：从面部序列估计疲劳程度，用于驾驶员监控等场景。
• 疼痛评估：连续估计疼痛强度，辅助临床评估。
• 参与度预测：预测用户参与度，优化教学内容或人机交互。