解耦式动画翻译模型

解析引导,风格可控

利用解析先验将结构域与外观域解耦到同一潜空间,实现可控的动画风格转换,并首次扩展到漫画图像。

Zhansheng, Li · Xu, Yangyang · Zhao, Nanxuan · 周洋 · Liu, Yongtuo · Lin, Dahua · 何盛烽

ACM Transactions on Graphics 2023

参数信息

数据集标注图像数
4921

技术优势

解析约束可控生成

将人脸解析图作为条件,把无约束的动漫翻译转化为可控生成,减少歧义。

结构与外观解耦

分离编码器将结构和外观信息分别嵌入同一潜码,四个定制损失函数约束解耦,便于独立控制。

FaceBank 锚定域内风格

聚合 StyleGAN 生成数据,将预测锚定到域内动漫图像,避免输出偏离目标域。

扩展到漫画图像

生成首个漫画解析伪数据,使方法可应用于漫画翻译,扩大适用范围。

应用场景