分层特征扭曲混合模型

高清动漫说话头

通过分层次处理全局变换与角色细节，将动漫图像的说话头动画分辨率提高到512×512。

Zhang, Jiale · 刘承鑫 · 冼可 · 曹治国

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

输出分辨率

512 × 512

数据集角色数

2000

技术优势

分辨率翻倍

输出512×512的动漫说话头，比常见方法的256×256包含更多细节。

大姿态也平滑

用低层特征控制全局变换，高层特征决定细节，以特征流场引导，能处理大幅度的头部运动。

自带训练集

提供AniTalk-2K数据集，含约2000个动漫角色、数千种姿态，缓解数据短缺。

应用场景

• 动漫内容生成：输入源图和目标姿态直接生成高清动漫说话头，省去逐帧手绘。
• 虚拟主播：让虚拟主播形象根据语音或动作实时做出自然表情和头部运动。
• 数字人动画：为数字人提供高分辨率的面部动画驱动，增强真实感。
• 视频合成：合成动漫角色的说话视频片段，用于短片或宣传内容。