视觉文本一致概念关系模型

自解释诊断精度新高

一种基于预训练CLIP的无标签概念关系学习模型，通过多级对比学习和双侧自编码器实现疾病类别、文本描述与视觉特征的一致性对齐，提升医学诊断的准确性和可解释性。

Yating, Zhu · Xiaoyan, Wang · 黄晓洁 · 夏明 · Mu, Pan · 王征 · Hu, Haigeng Gen · 张笑钦 · Teng, Zhongzhao

Information Fusion 2026

参数信息

黑色素瘤诊断准确率提升

2.93 %

概念识别能力提升

8.80 %

技术优势

诊断更准

引入概念-疾病关系学习，使视觉特征与疾病语义对齐，在黑色素瘤诊断上比SOTA模型MICA高2.93%。

概念找得更准

在相同概念标注水平下，概念识别能力比MONET高8.80%，说明模型能更准确地激活与疾病相关的概念。

无需人工标注

模型以无标签方式学习概念关系，不需要逐像素的概念标注即可训练出可解释的诊断能力。

应用场景

• 医学影像诊断：提供比现有方法更准且自带概念解释的疾病诊断结果，辅助医生决策。
• 可解释AI：通过可学习的概念关系给出诊断依据，使模型决策过程透明可追溯。
• 医学图像分析：提升医学影像特征与疾病语义的对齐能力，改善下游诊断表现。
• 多模态学习：联合文本和图像模态对齐概念关系，增强跨模态一致性表示。
• 计算机辅助诊断：在无标签条件下实现高精度自解释诊断，降低CAD系统对标注的依赖。