潜在空间说话脸生成

通过潜在空间操纵语义面部属性，并利用说话者旧视频中的说话风格，生成与音频同步的照片级逼真说话脸视频。

Salahudeen, Ridwan · Siu, Wanchi · Chan, Howard Anthony

IEEE Transactions on Consumer Electronics 2024

技术优势

照片级真实感

通过三个精心设计的损失函数确保准确的唇部同步和照片级视频重建，使生成的视频在视觉上逼真。

显著优于现有技术

在与现有先进技术的对比评估中，生成的说话脸视频图像质量有显著提升。

应用场景

• 数字人：从单张静态人脸和音频生成逼真说话视频，减少数字人建模成本。
• 视频会议：用照片和语音实时合成参会者视频，降低带宽需求。
• 虚拟助手：让虚拟助手用真人形象进行自然对话，提升交互真实感。
• 影视制作：根据音频自动生成角色说话镜头，简化后期配音和动画制作。