运动一致身份保持
一个面向人体视频生成的扩散Transformer新组件,用相对位置编码改造交叉注意力,解决生成多人物时动作漂移与身份混淆。
Shao, Ruizhi · 徐英豪 · Shen Y. · Yang, Ceyuan · Zheng, Yang · Changan, Chen · 刘烨斌 · Wetzstein, Gordon
ACM Transactions on Graphics 2025
相对位置编码让模型在身体部位间建立空间关联,生成多人视频时动作不再漂移。
该机制强化了个体特征的保持,生成的数字人在整个序列中维持一致身份。
用户可以显式指定相机参数和骨架姿态,输出精确匹配输入的4D人体视频。
代码与模型权重已公开发布,研究者可以直接复现或集成到自己的系统中。