针对电子健康记录中的图与文本模态设计的预训练模型，通过动量蒸馏应对标签噪声，在多项下游任务上取得最优效果。
Yu, Cao · Wang, Xu · 王乾 · 袁中 · Shi, Yongguo · 彭德中
Knowledge-Based Systems 2024
通过动量蒸馏机制，利用教师模型产生的伪目标指导学生模型学习，有效降低了标签噪声的影响，从而学到更稳定的患者表示。
同时利用医学代码构成的图结构和非结构化临床文本，捕捉两者之间的关联，弥补单一模态信息不足的问题，提升下游任务表现。
在五个真实临床下游任务上均取得当前最优性能，证明该预训练模型对复杂EHR数据具有较强的表示能力和泛化性。