TranSQ胸片报告生成模型

语义查询模拟医生推理

该模型将报告生成建模为医生观察、理解和描述的过程,通过可学习的意图嵌入对视觉特征进行语义查询,动态建立嵌入与句子的对应关系,在生成有效性和临床效能上均优于现有方法。

Danyang, Gao · Kong, Ming · 黄晶 · 黄正行 · 况琨 · 吴飞 · Zhu, Qiang

Medical Image Analysis 2023

技术优势

模拟医生思维

通过可学习的意图嵌入模拟医生观察、理解和描述的过程,使生成的报告更符合临床推理。

超越现有最优

在IU X-ray和MIMIC-CXR两个数据集上,生成有效性和临床效能均优于现有最优模型。

创新架构可解释

通过二分匹配机制建立意图嵌入与句子间的动态对应,模型具备创新性和可解释性。

应用场景