耳到耳完整重建
该网络通过PCA标记化和风格调制,为单图3D人脸重建提供耳到耳完整的高保真位移图,克服了现有方法在信息保留和语义利用上的不足。
Liu, Renshuai · Yao, Cheng · Sifei, Huang · Chengyang, Li · 程轩
IEEE Transactions on Multimedia 2023
用PCA标记化替代下采样,使Transformer直接处理保留更多有意义结构的特征。
让Transformer同时执行掩码语言模型和下一句预测任务,同时恢复被遮挡像素与人脸属性。
将Transformer输出编码为潜码,以StyleGAN2调制方式引导图像翻译网络,实现高保真补全。