双模态融合检测系统

该框架融合自发言语的声学特征与自设计嵌入，增强语言表征，有效检测轻度认知障碍。

Ho-Ling, Chang · Thiri, Wai · Yu-Shan, Liao · Sheng-Ya, Lin · Chang, Yu-Ling · Fu, Li-Chen

IEEE Journal of Biomedical and Health Informatics 2025

参数信息

平均检测准确率

78 %

纵向分析准确率提升

3 %

技术优势

捕捉细微症状

融合声学特征与自设计嵌入，增强对言语中细微MCI特征的表征能力，提高检测灵敏度。

利用纵向信息

引入方向编码器捕捉多次访问的时间信息，在重复AM测试者中准确率提升3%。

处理非结构化言语

设计说话人嵌入与会话嵌入，补偿自发言语的非结构化和隐含性，丰富模型输入信息。

应用场景

• 认知障碍评估：用言语数据客观筛查MCI，减少对主观量表的依赖。
• 言语信号处理：从自发言语中提取声学与嵌入特征，增强非结构化语音的表征。
• 生物标志物检测：将言语中细微异常作为认知衰退的早期行为标志物。