文本引导的抑郁检测模型

跨模态重建分解

以文本模态为核心引导音频特征重建与分解，显式解耦共享与私有特征，增强多模态抑郁检测性能。

Ziqiang, Chen · 王丹丹 · Lou, Liangliang · 张石清 · 赵小明 · 蒋树强 · 俞俊 · 肖俊

Information Fusion 2025

技术优势

文本引导重建

以文本模态为核心引导音频特征重建，弥补单一模态信息不足。

显式解耦特征

将共享与私有特征从重建特征中解耦，减少模态冗余。

双向交叉注意力

通过双向交叉注意力模块交互学习模态间相关性，增强特征表达。

应用场景

• 心理健康筛查：自动分析音视频与文本，辅助大规模抑郁风险筛查。
• 情感计算：提升多模态情感状态识别准确率，推动情感计算在心理健康的应用。
• 多模态AI：提供跨模态特征重建与解耦新范式，增强多模态融合能力。