MITER多级对比模型

小样本强迁移

该框架利用多级对比学习联合自适应预训练医学图像与文本模型，解决了医学多模态数据集稀缺导致的预训练受限问题。

Shu, Chang · Yi, Zhu · Xiaochu, Tang · Xiao, Jing · Youxin, Chen · 李秀 · Zhang, Qian · 卢正

Expert Systems with Applications 2024

技术优势

只用少量医学数据就能预训练

利用通用数据上预训练好的模型初始化，再在医学数据上自适应，避免从零开始需要大量专业标注数据。

四项任务都大幅超越现有基准

在图像-报告检索、多标签分类、视觉问答和报告生成四个医学任务上均取得显著提升，证明框架的通用有效性。

训练更稳，难样本自动挑

训练过程中动态选择难负样本，让模型更好地学到判别性表示，提升对比学习效果。

应用场景

• 医学影像诊断：用预训练图像编码器提升医学影像分类性能，减少标注数据需求。
• 医学报告生成：联合图文表示能生成更准确的医学报告，降低漏诊风险。
• 视觉问答：跨模态对比学习让模型更好地对齐图像与问题，提高医学VQA准确率。
• 生物医学文本分析：预训练的文本模型可迁移到生物医学文本任务，如文献挖掘或报告解析。