多模态融合网络

三类数据融合

专为胸部疾病诊断设计的多模态融合模型，整合医学影像、临床文本和生命体征数据，并在模态缺失时保持高稳健性。

Xinlong, Liu · Pan, Fei · Hainan, Song · Siyi, Cao · 李春平 · 黎檀实

Electronics (Switzerland) 2025

参数信息

分类精度

0.8

缺失模态下的AUC保持率

85 %

技术优势

三模态有效融合

通过跨模态注意力机制MFAttention与Transformer结合，充分整合医学影像、临床文本和生命体征数据，利用模态间互补信息提升诊断精度。

扩展时参数不增

扩展到三个及以上模态时，MFTrans模块显著减少模型参数，便于部署和训练。

缺失模态下仍稳健

采用两阶段掩码增强分类与对比学习训练框架，在50%模态数据缺失时，AUC仍能达到完整数据的85%，优于未使用两阶段训练的模型。

应用场景

• 多模态医疗诊断：整合影像、文本、体征三类数据，辅助医生综合判断。
• 胸部疾病识别：在MIMIC胸部疾病数据上取得0.8精度，可用于自动识别。
• 临床决策支持：提供稳健的多模态预测，减少模态缺失带来的误判。
• 缺失模态处理：两阶段训练框架使模型在50%模态缺失时仍保持85%的AUC。