双门控特征交互MLP

双通道互补先验建模

利用双门控保留时空物理属性、互指导实现面部关键点与动作单元双向建模，提升抑郁等级预测精度。

Niu, Mingyue · Ya, Li · Jianhua, Tao · 周修庄 · Schuller, Björn W.

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

同时捕捉时空变化

双门控模块将跨位置与跨帧门控结果嵌入输入序列，保留数据物理属性，使模型能同时考察关键点和动作单元的空间分布与时间变化。

利用互补信息

互指导模块以一条流的全局信息作为掩码过滤另一条流，实现关键点与动作单元特征间的交互，提升抑郁等级预测精度。

应用场景

• 心理健康筛查：在保护隐私的前提下自动预测抑郁等级，辅助大规模心理健康筛查。
• 非接触式健康监测：仅基于面部图像序列即可评估抑郁状态，无需接触式传感器，适合远程健康监测。
• 情感计算：通过建模面部关键点与动作单元的动态交互，为情感计算提供抑郁相关的情感状态识别能力。