多分辨率哈希隐式头像模型

实时高品质渲染

利用隐式神经表示和光流损失，从单目视频生成可实时驱动的高保真3D头部头像，细节表现优于现有方法。

Teotia, Kartik · Mallikarjun, B. R. · Pan, Xingang · Kim, Hyeongwoo · Garrido, Pablo · Elgharib, Mohamed A. · Theobalt, Christian

ACM Transactions on Graphics 2024

参数信息

渲染分辨率

480x270

技术优势

细节更逼真

隐式函数表示规范空间，能够表达口腔内部、头发和拓扑变化等复杂细节，而这些是模板方法难以捕捉的。

训练更快

在学习的特征空间中采用多分辨率哈希编码，显著提升了训练效率。

渲染更流畅

光流损失确保规范空间中的对应关系，产生无伪影且时间一致的渲染结果。

应用场景

• 数字人驱动：用单目视频直接驱动高保真数字人，无需复杂捕捉设备。
• 虚拟化身：生成可实时渲染的虚拟化身，适合在线交互场景。
• 面部动作捕捉：从单目视频中提取面部特征进行驱动，替代传统标记点捕捉。
• 可穿戴AR/VR：实时渲染的高保真头像适用于可穿戴AR/VR中的社交存在感。