多模态特征增强网络

引入rPPG信号作为额外模态，利用Transformer联合捕捉模态内与模态间的动态关系，提升抑郁症检测效果。

Huiting, Fan · Xingnan, Zhang · Xu, Yingying · 方江雄 · 张石清 · 赵小明 · 俞俊

Information Fusion 2024

技术优势

多模态融合更彻底

通过堆叠模态间、模态内和三模态Transformer，同时捕捉各时间步上模态内部及模态之间的动态关系，再由图融合网络保持模态间交互，避免简单拼接造成的信息割裂。

双数据集验证有效

在公开数据集AVEC2013和AVEC2014上进行了大量实验，实验结果证明了所提方法在抑郁检测任务上的有效性。

应用场景

• 可穿戴心理健康监测：利用手机摄像头即可提取rPPG信号，无需额外接触式传感器，适合集成到可穿戴设备中进行日常心理健康监测。
• 辅助抑郁症筛查：自动融合视频、音频和rPPG三种模态进行抑郁检测，可辅助医生实现早期筛查，减少人工量表依赖。
• 多模态生理信号分析：同时建模模态内与模态间动态关系，能够更全面地挖掘多模态生理信号中的抑郁相关模式。
• 远程光电容积描记：采用短时端到端rPPG估计框架，从面部视频中直接提取rPPG信号，无需专用传感器。