自适应图文融合网络

医学图像分类首选

通过语义与特征对齐，该网络实现了图像与文本报告的深度融合，显著优于现有方法并具备优秀的医学可解释性。

张剑 · Kaihao, He · Feng, Zunlei · 孙水发 · 孙晓燕 · 袁贞明 · 俞俊

Pattern Recognition 2025

技术优势

语义差距缩小

学习图像到文本的映射，实现图像与文本的语义对齐，从根源上缓解跨模态语义鸿沟。

特征对齐增强

利用 JSD 损失估计二值相关掩码，检索强相关的图像与文本特征，实现特征对齐，提升融合质量。

高效特征融合

基于 Simplified-Attention 的无参数融合方法，计算量低，便于集成到实际应用中。

医学可解释性

在三个数据集上展现出卓越的医学可解释性，有助于医生理解分类依据。

应用场景

• 医学图像分类：利用图像与文本报告的多模态信息提升分类精度，可辅助医生快速准确诊断。
• 计算机辅助诊断：可作为诊断系统中的分类模块，自动融合图像与病历文本，减轻医生工作负担。
• 多模态融合：通过语义与特征对齐实现有效的图文融合，为其他多模态任务提供新思路。
• 医学报告生成：语义对齐和特征融合可增强图像与文本的关联，为报告生成提供更准确的模态交互。