多粒度对齐VLP模型

跨患者语义关联

通过细粒度报告关联建立患者间视觉语义联系，显著提升跨中心、跨模态的迁移与泛化能力。

Xuefeng, Ni · Wang, Qiong · Wu, Mingxiang · Vardhanabhuti, Vince Varut · 张立海 · Gao, Hanyu · Chen, Hao

Medical Image Analysis 2026

参数信息

预训练数据规模

47.1K

下游任务数量

10

技术优势

降低标注依赖

通过利用大规模影像-报告对进行预训练，模型无需大量任务特定标注即可迁移到多种下游任务。

跨模态可迁移

在CT和MRI数据上都表现出优越的迁移与泛化性能，说明模型学到的表示具有跨模态通用性。

利用报告语义

通过对报告中多粒度语义的细粒度建模，模型建立了患者内和患者间的丰富对应关系，提升了视觉理解能力。

应用场景

• 医学影像分析：为3D影像分析提供强预训练基础模型，减少任务特定标注需求。
• 多模态医疗AI：利用影像-报告对齐，实现跨模态语义理解，推动多模态医疗AI。
• 肿瘤诊断：在肿瘤相关CT/MRI任务上迁移，辅助诊断与预后评估。
• 放射报告生成：通过报告引导的视觉建模，可增强自动报告生成的质量。