神经视频分解模型

实时层编辑

一个将视频解耦为纹理、掩码和乘性光照残差的神经模型,允许对单帧纹理的一次编辑自动传播到全片,且保持其他内容一致,适合具有复杂光影和运动效果的视频。

Cheng-Hung, Chan · Cheng-Yang, Yuan · Sun, Cheng · Chen, Hwanntzong

2023

参数信息

渲染速度
71 fps

技术优势

编辑可全片传播

对纹理图的一次编辑会传播到整个视频帧中的对应位置,同时保持其他内容的一致性。

渲染实时

编辑结果在单块GPU上达到71 fps的渲染速度,允许实时预览。

支持复杂光影

乘性残差表征时空变化的光照条件,因此该方法适用于具有复杂光影和运动效果的视频。

应用场景