高保真人脸位移补全网络

耳到耳完整重建

该网络通过PCA标记化和风格调制,为单图3D人脸重建提供耳到耳完整的高保真位移图,克服了现有方法在信息保留和语义利用上的不足。

Liu, Renshuai · Yao, Cheng · Sifei, Huang · Chengyang, Li · 程轩

IEEE Transactions on Multimedia 2023

技术优势

保留结构细节

用PCA标记化替代下采样,使Transformer直接处理保留更多有意义结构的特征。

挖掘人脸语义

让Transformer同时执行掩码语言模型和下一句预测任务,同时恢复被遮挡像素与人脸属性。

精确引导生成

将Transformer输出编码为潜码,以StyleGAN2调制方式引导图像翻译网络,实现高保真补全。

应用场景