胸片+咳嗽声精准诊断
结合胸片与咳嗽声两个模态,加入注意力层来权衡它们的影响,使检测比单一模态更可靠。
Issahaku, Fadilul Lah Yassaanah · Xu, Zhicai · Lu, Ke · Xianwen, Fang · Danwana, Sumaiya Bashiru · Asimeng, Ernest
Biomedical Signal Processing and Control 2024
胸部X光和咳嗽声音同步利用,模态互补降低单一模态漏检风险。
注意力层自动平衡图像与声音特征的影响,让模型更关注关键模态。
训练数据量和质量有波动时模型仍保持有效检测,部署时更稳健。