混合监督重建微动作
通过混合监督框架联合自重构与情感分类,并利用超图增强自注意力动态更新关节点超边,有效捕捉微手势中细微的局部动作。
夏召强 · Hexiang, Huang · Chen, Haoyu · 冯晓毅 · Zhao, Guoying
IEEE Transactions on Affective Computing 2025
通过超图增强自注意力模块动态更新骨架关节点之间的超边,建模细微的局部运动,从而更好地表征微手势传达的情感。
端到端框架以单阶段方式联合训练自我重构和监督学习,充分利用自监督重构和情感标签信息,提升识别性能。
在两个公开数据集 iMiGUE 和 SMG 上多个指标取得最佳性能,优于现有方法。
代码已在 GitHub 公开,便于其他研究者复现和进一步开发。