单图人体自由视角合成

纹理一致无畸变

仅需单张图片即可生成任何视角的高保真3D人体纹理一致的渲染，解决了传统方法中纹理模糊和颜色失真的问题。

Xiangjun, Gaol · Li, Xiaoyu · Chaopeng, Zhang · 张启 · Cao, Yanpei · Shan, Ying · Quan, Long

2024

技术优势

后视图纹理与输入一致

通过深度和文本引导的注意力注入，将参考图像的内容传递到后视图，避免纹理风格漂移。

侧面颜色不失真

可见性感知的补丁一致性正则结合合成后视图纹理，在纹理映射和细化阶段减轻颜色失真。

单图即可重建

无需多视角输入或额外深度传感器，仅凭单张RGB图像生成任意视角的高保真渲染。

性能超越基线

在真实和合成数据上的实验表明，本方法在纹理一致性和渲染质量上均优于以往方法。

应用场景

• 虚拟数字人：从单张自拍照生成可旋转查看的虚拟形象，保留衣服纹理和细节。
• 增强现实：将真实人物以任意视角渲染到AR场景，纹理与真人一致。
• 电影与游戏：快速生成游戏角色或电影替身，免去多视角扫描流程。
• 人体重光照：提供纹理一致的人体几何与外观，作为重光照算法的基础模型。
• 智能试衣：单张照片重建用户身体，试穿衣服时保持纹理真实无扭曲。