多模态新冠检测模型

胸片+咳嗽声精准诊断

结合胸片与咳嗽声两个模态,加入注意力层来权衡它们的影响,使检测比单一模态更可靠。

Issahaku, Fadilul Lah Yassaanah · Xu, Zhicai · Lu, Ke · Xianwen, Fang · Danwana, Sumaiya Bashiru · Asimeng, Ernest

Biomedical Signal Processing and Control 2024

参数信息

准确率
99.80 %
F1分数
99.70 %
验证损失
0.0132

技术优势

双模态互补

胸部X光和咳嗽声音同步利用,模态互补降低单一模态漏检风险。

注意力聚焦

注意力层自动平衡图像与声音特征的影响,让模型更关注关键模态。

抗数据波动

训练数据量和质量有波动时模型仍保持有效检测,部署时更稳健。

应用场景