多模态生物信号表征模型

缺失模态可组合

该模型采用自监督跨模态学习,将心电图、光电容积脉搏波和动脉血压统一到同一高斯潜空间,并融合节律、年龄等元数据,实现对多种生理信号的一致表征。

72671559 · Li, Zhiyuan · Yuanyuan, Tian · 72671558 · Jin, Yanrui · 刘成良

Information Fusion 2025

参数信息

模态生成提升
7.7 %
收缩压相关性
0.9
舒张压相关性
0.9

技术优势

缺失模态也能用

采用product-of-experts技术,可组合可用模态进行推理,从而在部分信号缺失时仍能保持模型有效。

融合节律年龄等元数据

通过基于频率的注意力机制将元数据(包括昼夜节律、年龄和性别)与生物信号嵌入相结合,提升表征的上下文感知能力。

多任务下游表现好

在下游不良事件预测任务中,模型优于单模态和其他现有方法,能更好地捕捉生理状态的复杂性。

血压相关性高

在表型分析中,收缩压和舒张压的相关性估计均约为0.9,表明模型能有效捕获生理关系。

应用场景