时空掩码Transformer的rPPG网络

抗扰鲁棒的心率估计网络

通过将面部分割为多个时空管道并构建3D视觉Transformer，对每个子区域的生理信号进行高维建模并全局协调，从而更精细地挖掘皮肤颜色中隐藏的细微变化和长时上下文节律，并利用自监督掩码自编码范式增强鲁棒性。

Hang, Shao · Lei, Luo · 钱建军 · Shuo, Chen · Hu, Chuanfei · Jian, Yang

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

长时建模更强

通过3D视觉Transformer编码-解码结构充分建模每个子区域随时间变化的规律，增强对长期时间依赖的感知能力。

抗干扰更稳健

利用自监督掩码自编码范式克服冗余，并采用定向时空采样图作为预训练约束，增强了模型对各种干扰的鲁棒性。

应用场景

• 非接触式生理监测：用摄像头即可实现心率监测，无需任何接触式传感器，适合日常健康筛查和远程医疗场景。
• 远程健康传感：可从普通视频中提取心率信号，为远程健康监测提供无感的生理数据采集手段。
• 视觉健康感知：基于视觉信号实现生理信息感知，可集成到现有监控摄像头中扩展健康感知功能。
• 视频生命体征检测：直接从面部视频中检测心率等生命体征，无需专用设备，降低了生命体征监测的门槛。