文本驱动面部生成框架

抽象描述可生成

通过文本描述即可从单张人脸图像生成对应的表情视频，摆脱对参考视频或音频的依赖。

Guo, Jiayi · Hayk, Manukyan · Chenyu, Yang · Wang, Chaofei · Levon, Khachatryan · Navasardyan, Shant · Song, Shiji · Humphrey, Shi · Gao, Huang

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

摆脱参考视频

仅用图像和文本描述即可生成表情视频，无需参考视频或音频提供时间信息。

训练更高效

重建损失作用于人脸关键点而非每个视频帧，显著减少了计算量。

应用场景

• 具身智能交互：让虚拟助手根据用户口头描述实时生成表情视频，提升交互自然度。
• 脑机接口交互：将脑信号转换为文本描述，驱动人脸表情视频生成，辅助表达障碍者沟通。
• 虚拟数字人：简化数字人表情动画制作，只需文本指令即可快速生成多样化表情视频。