多模态超声融合网络

不完全数据可信诊断

针对多模态乳腺超声中模态缺失与异质性问题,引入对比聚类约束与可逆恢复机制,并通过不确定性量化实现样本级动态特征融合,提高诊断鲁棒性与可解释性。

Yan, Pengfei · Wushuang, Gong · Li, Minglei · Zhang, Jiusi · Xiang, Li · 蒋宇辰 · Hao, Luo · Zhou, Hang

Information Fusion 2024

参数信息

平均AUC
98.31 %

技术优势

模态缺失也能诊断

通过可逆神经网络建立模态间映射,能够恢复缺失模态的特征,从而在输入不完整时仍保持诊断能力。

动态加权各模态

基于Dirichlet分布的不确定性估计,针对每个样本量化各模态的贡献并动态融合,避免固定权重带来的次优性。

语义空间对齐

对比聚类损失约束不同模态特征在语义空间中保持一致,使得同一病例的不同模态表示相互接近,提升融合可靠性。

应用场景