SLIViT体积医学扫描预测模型

2D预训练，3D精准预测

利用二维预训练的视觉Transformer模型在三维医学影像中实现专家级疾病风险预测，节省标注成本。

Avram, Oren · Berkin, Durmus · Rakocz, Nadav · Corradetti, Giulia · An, Ulzee · Nittala, Muneeswar Gupta · Chen, Zeyuan Johnson · Yu, Wakatsuki · Hirabayashi, Kazutaka · Velaga, Swetha Bindu · Tiosano, Liran · Corvi, Federico · Verma, Aditya · Karamat, Ayesha · Lindenberg, Sophiana · Oncel, Deniz · Esmaeilkhanian, Houri · Wykoff, Charles Clifton · Rahmani, Elior · 周博磊 · Zaitlen, Noah A. · Gronau, Ilan · Sankararaman, Sriram · Chiang, Jeffrey N. · Sadda, Srinivas R. · Halperin, Eran

Nature Biomedical Engineering 2024

参数信息

任务数量

8

数据集数量

6

成像模态

4

技术优势

无需三维标注

模型在二维扫描上预训练，只需少量三维数据微调即可达到专家级准确度，大幅降低标注成本。

跨模态通用

在 CT、MRI、OCT 和超声四种成像模态上均优于专用模型，无需为每种模态单独设计架构。

媲美临床专家

在多种任务上达到与临床专家手动标注相当的准确度，可替代或辅助人工标注。

应用场景

• 医学影像智能分析：将三维影像分析自动化，替代或辅助放射科医生的手动阅片。
• AI辅助疾病筛查：从体积扫描中直接预测疾病风险，加速大规模筛查。
• 多模态医疗数据融合：统一处理 CT、MRI、OCT、超声四种模态，无需单独建模。
• 低标注成本模型：仅需二维标注预训练，大幅减少昂贵的三维标注需求。