时空交叉变换器

预测更准更真实

通过交叉变换器交互和骨长约束,解决时空分离建模和预测姿态不合常理的问题。

玉华 · Xuanzhe, Fan · Yaqing, Hou · Wenbin, Pei · 葛宏伟 · Xin, Yang · Zhou, Dongsheng · Qiang, Zhang · Mengjie, Zhang

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

时空一体建模,不再割裂

交叉变换器直接捕捉空间和时间分支之间的内在一致性,从而更准确建模动态时空信息。

骨长约束,越走越像真人

用SMPL-X模型重建损失来修正不合理的骨骼长度和姿态误差,使预测运动更符合真实人体结构。

实测超越现有方法

在AMASS和Human3.6M数据集上取得了优于对比方法的结果,验证了模型的先进性。

应用场景