浅层扩散运动模型

双流架构拆解姿态与节奏

将语音驱动的人脸运动分解为姿态模式与节奏动态,分别由双流架构生成,实现多样化的姿态和与语音韵律同步的头部运动。

Zhang, Xulong · Wang, Jianzong · Cheng, Ning · Edward, Xiao · Xiao, Jing

Lecture Notes in Computer Science 2023

技术优势

多样化头部姿态

通过语音语义引导的条件采样,在潜在空间中生成不同的姿态模式,而不是局限于单一确定性的姿态。

韵律同步的头部运动

节奏动态与语音韵律同步,使头部运动与语音的节奏特征保持一致。

应用场景