多模态超越同类
首个面向呼吸临床全流程的视觉-语言预训练Transformer，在多模态任务中显著优于现有医学模型。
Ma, Liangdi · 梁恒瑞 · He, Yuwei · Wang, Wei · Yan, Zeping · Li, Wuchao · Wang, Rongping Pin · Yuerong, LiZhu · Yaou, Liu · 郭雨晨 · 何健行 · 徐枫
Nature Biomedical Engineering 2025
采用自监督学习直接从影像-报告对中获取医学知识，省去大规模人工标注成本。
单个模型可处理CT图像、放射报告、实验室检验和药物关系图，无需为每种数据类型单独开发。
在广泛胸部病理条件下，MedMPT一致优于医学领域最先进的多模态预训练模型，带来实质性能提升。
模型有效利用医学数据，在较少数据和参数下即达到高性能，降低部署成本。