眼动指导表情识别网络

免眼动设备推理

利用高质量眼动信号指导视觉模型学习，无需眼动设备即可获得稳健的表情识别性能。

刘袁缘 · Lin, Wei · Kejun, Liu · Zijing, Chen · Chen, Zhe · 唐厂 · 陈靓影 · Shiguang, Shan

IEEE Transactions on Affective Computing 2025

技术优势

五个数据集显著优于现有方法

在三个宏观表情数据集和两个微表情数据集上均取得显著提升，覆盖大规模自然场景与微表情识别。

渐进式眼动指导微调

提出渐进式眼动指导学习策略，从预训练模型中更好地迁移高质量眼动先验知识到下游表情数据集。

应用场景

• 情感计算：免眼动设备的表情识别可直接集成到情感计算系统中，降低硬件成本并提升真实场景泛化能力。
• 人机交互：在用户与设备交互时提供无侵入的表情感知，无需用户佩戴额外装置即可实现自然交互。
• 情感机器人：使机器人仅通过摄像头即可理解用户情绪，无需用户在互动中佩戴眼动设备。
• 用户体验研究：可在真实使用场景中大规模采集用户表情反应，无需额外设备，降低用户体验研究成本。