音乐直出虚拟表演
无需动捕,一键将音乐转化为虚拟小提琴手的完整演奏,包含表情、指法、运弓和运镜。
Lin, Tingwei · Kao, Hsuankai · Wei, Wenli · Liu, Chaolin · Lin, Jenchun · Su, Li
IEEE Transactions on Multimedia 2026
将表情、指法、身体动作、运镜四个独立模块整合为统一系统,用户输入音乐即可获得完整表演,无需自行集成多个模型。
利用深度生成模型直接从音乐内容生成表演参数,无需昂贵的动作捕捉设备和后期处理,显著降低制作成本和门槛。
系统专门处理人与小提琴的交互,生成自然协调的持琴、按弦和运弓动作,填补了此前仅有人类单独表演生成的空白。