自监督手部重建模型

视频输入更稳更准

该模型利用视频中连续手部运动信息和纹理约束，仅需单目RGB输入即可联合估计手部姿态、形状与纹理，无需昂贵的3D标注。

涂志刚 · Zhisheng, Huang · Chen, Yujin · Kang, Di · Bao, Linchao · Yang, Bisheng · Yuan, Junsong

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

无需3D标注

利用检测到的2D关键点和图像纹理作为监督，消除对3D手部标注的依赖，降低数据获取成本。

视频输入精度更高

通过施加运动、纹理和形状一致性约束，利用视频中连续帧信息，提升重建精度与时间一致性。

应用场景

• 手部姿态估计：从单目视频实时估计手部关节，无需深度传感器或3D标注。
• 人机交互：为手势识别和交互系统提供一致的手部网格，提升操作直观性。
• 三维手部重建：从普通RGB视频重建完整手部表面，用于虚拟现实和动画制作。