微手势情感识别超图Transformer

混合监督重建微动作

通过混合监督框架联合自重构与情感分类,并利用超图增强自注意力动态更新关节点超边,有效捕捉微手势中细微的局部动作。

夏召强 · Hexiang, Huang · Chen, Haoyu · 冯晓毅 · Zhao, Guoying

IEEE Transactions on Affective Computing 2025

技术优势

捕捉细微运动

通过超图增强自注意力模块动态更新骨架关节点之间的超边,建模细微的局部运动,从而更好地表征微手势传达的情感。

联合训练框架

端到端框架以单阶段方式联合训练自我重构和监督学习,充分利用自监督重构和情感标签信息,提升识别性能。

超越现有方法

在两个公开数据集 iMiGUE 和 SMG 上多个指标取得最佳性能,优于现有方法。

代码可复现

代码已在 GitHub 公开,便于其他研究者复现和进一步开发。

应用场景