记忆对齐网络

低成本高质量报告生成

该网络通过记忆对齐嵌入来引导视觉与文本特征对齐，从而生成连贯且信息丰富的放射学报告，在公共数据集上优于现有方法。

Hongyu, Shen · 裴明涛 · Juncai, Liu · Tian, Zhaoxing

2024

技术优势

对齐成本更低

该对齐方法相比其它对齐方法成本更低且更有效。

性能超过现有最优

在IU X-Ray和MIMIC-CXR两个公开数据集上取得优于最先进方法的性能。

应用场景

• 医学图像报告生成：提供低成本高质量自动报告生成，减少人工撰写负担。
• 放射学辅助诊断：生成报告辅助诊断，提高准确性与可靠性。
• 多模态医学分析：实现图像与文本特征对齐，支持多模态医学分析。