多模态心率估计网络

可见光+近红外互补

利用RGB与NIR信息的互补性，实现从面部视频进行可靠的非接触心率估计。

Liu, Lili · 夏召强 · 张晓彪 · 彭进业 · 冯晓毅 · Zhao, Guoying

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

信息互补

RGB与NIR视频提供高度互补的信息，从不同光谱维度描述心率相关特征，提升估计可靠性。

模态差异融合

设计了专门的模态差异增强融合模块，显式利用模态间差异来自适应地融合rPPG信号，而不是简单拼接。

端到端联合训练

三个模块集成并端到端联合学习，避免了分步优化带来的误差累积，整体框架更紧凑。

应用场景

• 远程健康监测：从普通摄像头视频中实时提取心率，无需接触即可长期监测心血管健康。
• 非接触生理传感：用RGB和NIR视频互补，在光照变化下仍能稳定感知心率，替代接触式传感器。
• 情感计算：提供可靠的心率信号作为情绪识别的生理特征，增强情感计算的准确性。
• 智能家居健康监测：可集成到家用摄像头中，在日常场景下自动监测家庭成员的心率健康。