半监督报告生成
利用图引导混合特征编码,将疾病知识图谱中的病理关系注入特征,弥合局部病灶关系与报告语义的鸿沟。
Zhang, Ke · Jiang, Hanliang · 张剑 · 黄庆明 · 范建平 · 俞俊 · Weidong, Han · 韩卫东
IEEE Transactions on Multimedia 2023
通过半监督均值教师范式,仅需少量标注数据即可训练,缓解了医学影像报告标注成本高、难以获取的问题。
利用先验疾病知识图谱,将病灶间的内在关系编码为图嵌入,与语义和视觉特征融合,提升报告生成的准确性。
混合特征直接输入基于Transformer的解码器生成报告,简化了流程并保证了语义连贯性。