3D感知重照明驱动

声音驱动肖像自然适应新光照

该驱动模型从单目视频中解耦面部反射率与光照，使音频驱动的虚拟肖像能够在不同背景和光照场景中无缝迁移，显著降低多视角数据采集成本。

Qiu, Haonan · Zhaoxi, Chen · Jiang, Yuming · 周航 · Xiangyu, Fan · 杨磊 · Wu, Wenyan · Liu, Ziwei

International Journal of Computer Vision 2024

技术优势

单目视频即可

无需多视角或动态光照数据，仅从一段普通视频就能学习可重照明的肖像模型。

适应新光照

通过分离面部反射率与光照，生成的肖像能够在任意新背景和光照条件下保持外观一致。

无需昂贵采集

传统重光照方法依赖光照可控或多视角采集系统，本方法仅用单目视频，大幅降低数据获取成本。

应用场景

• 虚拟人驱动：在虚拟人系统中集成该模型，输入音频即可生成与新光照环境匹配的说话肖像。
• 数字人光照适配：数字人换场景时无需重新采集，直接根据新光照自动调整外观。
• 单目视频肖像重光照：从单目视频解耦反射率，替换传统依赖多视角或动态光照的重光照方案。