PhysFormer++视频生理测量模型

无需大型预训练

面向人脸视频远程光电容积脉搏波描记(rPPG)的端到端视频Transformer,通过时间差分Transformer增强准周期rPPG特征,采用SlowFast双路径架构结合时序差分周期与交叉注意力,并可从头训练。

Yu, Zitong · Shen, Yuming · Shi, Jingang · Zhao, Hengshuang · Cui, Yawen · Zhang, Jiehua · Torr P. · Zhao, Guoying

International Journal of Computer Vision 2023

技术优势

无需预训练

模型家族可直接在rPPG数据集上从头训练,摆脱对大规模预训练数据的依赖。

泛化性能好

在四个基准数据集上,跨数据集测试表现优异,说明模型对不同数据分布适应性强。

抗干扰更强

通过时间差分Transformer增强准周期rPPG特征,并细化局部时空表示以对抗干扰。

应用场景