人琴协同表演生成系统

音乐直出虚拟表演

无需动捕,一键将音乐转化为虚拟小提琴手的完整演奏,包含表情、指法、运弓和运镜。

Lin, Tingwei · Kao, Hsuankai · Wei, Wenli · Liu, Chaolin · Lin, Jenchun · Su, Li

IEEE Transactions on Multimedia 2026

技术优势

端到端完整系统

将表情、指法、身体动作、运镜四个独立模块整合为统一系统,用户输入音乐即可获得完整表演,无需自行集成多个模型。

免动捕

利用深度生成模型直接从音乐内容生成表演参数,无需昂贵的动作捕捉设备和后期处理,显著降低制作成本和门槛。

人琴交互表演

系统专门处理人与小提琴的交互,生成自然协调的持琴、按弦和运弓动作,填补了此前仅有人类单独表演生成的空白。

应用场景