诊断报告监督对比学习策略

少样本更准更懂诊断

用医生的文字报告监督对比学习训练，让图像编码器在少量标注下也能学会与诊断一致的深层特征，提升泛化与可解释性。

Shiqi, Deng · 张兴 · Jiang, Shancheng

Pattern Recognition 2024

技术优势

泛化更强

在公开SARS-CoV-2数据集上，DRSCL帮助所有参与测试的图像编码器获得更优的泛化性能。

可解释性更好

Grad-CAM可视化显示DRSCL预训练模型关注区域与诊断更相关，增强了模型可解释性。

训练更稳定

通过合并相同文本或图像特征改进对比损失函数，解决医学报告数据重复导致的预训练不收敛问题。

应用场景

• 医学影像AI：用DRSCL策略训练图像编码器，提升影像AI模型在少标注下的泛化与可解释性。
• 疾病诊断模型：将诊断报告监督引入模型预训练，使疾病诊断模型学到与临床一致的特征。
• 医疗多模态学习：利用图像-报告对进行对比学习，将文本信息迁移至图像编码器，实现跨模态临床知识整合。