报告异常描述更全
用于放射学报告生成的端到端聚类增强对比学习模型，通过融合图像和文本语义并利用标签引导的对比学习，生成更全面描述异常且临床正确性更高的报告。
Xinyao, Liu · 信俊昌 · Shen, Qi · Li, Chuangang · Zhihong Huang, Zhihong · Wang, Zhiqiong
IEEE Transactions on Emerging Topics in Computational Intelligence 2024
通过标签引导的对比学习模块增强特征表示，使模型更关注异常区域，从而在报告中包含更多异常描述。
在IU X-ray和MIMIC-CXR两个公开数据集上的实验表明，该方法在临床正确性指标上优于现有最先进方法。
整个模型无需分阶段训练，简化了训练流程，便于实际部署。
自适应对齐融合模块将图像特征和文本语义特征进行融合，消除了不同模态之间的信息冗余。