SKEMA多模态注意力网络

报告生成更独特

利用结构化知识增强的多模态注意力与双分支对比学习,融合图像与知识图谱先验,生成更具区分度的放射学报告。

Xu D. · Chen Y. · Zhang, Jiayu · Lou, Yiwei · 王捍贫 · 何菁 · Huang Y.

2023

技术优势

报告不再雷同

通过双分支对比学习增大正负样本差异,避免生成模板化结果。

知识融合更高效

SKEMA利用知识图谱的高阶邻接矩阵加权融合图像与先验知识,弥补视觉与知识的鸿沟。

应用场景