文本驱动说话头生成网络

三秒生成表情

用自然语言直接指定说话头的表情风格，无需参考视频也能生成富有表现力的面部动画。

Yifeng, Ma · Wang, Suzhen · Ding, Yu · Bowen, Ma · Lv, Tangjie · Fan, Changjie · Hu, Zhipeng · 邓志东 · Yu, Xin

IEEE Transactions on Multimedia 2025

技术优势

无需参考视频

直接由自然语言描述生成表情，免去了寻找和匹配参考视频的步骤，降低了使用门槛。

能推断新描述

通过CLIP的跨模态表示，即使文本描述在训练集中未曾出现，模型也能推断出相应的表情。

文本调节强度

不仅指定表情类型，还可以通过文本控制表情的强度，实现更细腻的表情控制。

应用场景

• 数字人交互：用文本直接驱动数字人表情，无需录制参考视频，交互更自然。
• 虚拟主播：根据播报文案自动生成匹配表情，让虚拟主播更生动。
• 多模态交互：将文本与表情风格关联，扩展多模态交互的表达维度。
• 患者沟通助手：用文本定制温和表情，辅助患者沟通更亲切。