空间交叉注意力模块

运动一致身份保持

一个面向人体视频生成的扩散Transformer新组件,用相对位置编码改造交叉注意力,解决生成多人物时动作漂移与身份混淆。

Shao, Ruizhi · 徐英豪 · Shen Y. · Yang, Ceyuan · Zheng, Yang · Changan, Chen · 刘烨斌 · Wetzstein, Gordon

ACM Transactions on Graphics 2025

参数信息

最优
4 D

技术优势

运动一致

相对位置编码让模型在身体部位间建立空间关联,生成多人视频时动作不再漂移。

身份不混

该机制强化了个体特征的保持,生成的数字人在整个序列中维持一致身份。

可控生成

用户可以显式指定相机参数和骨架姿态,输出精确匹配输入的4D人体视频。

开源可用

代码与模型权重已公开发布,研究者可以直接复现或集成到自己的系统中。

应用场景