无需大型预训练
面向人脸视频远程光电容积脉搏波描记(rPPG)的端到端视频Transformer,通过时间差分Transformer增强准周期rPPG特征,采用SlowFast双路径架构结合时序差分周期与交叉注意力,并可从头训练。
Yu, Zitong · Shen, Yuming · Shi, Jingang · Zhao, Hengshuang · Cui, Yawen · Zhang, Jiehua · Torr P. · Zhao, Guoying
International Journal of Computer Vision 2023
模型家族可直接在rPPG数据集上从头训练,摆脱对大规模预训练数据的依赖。
在四个基准数据集上,跨数据集测试表现优异,说明模型对不同数据分布适应性强。
通过时间差分Transformer增强准周期rPPG特征,并细化局部时空表示以对抗干扰。