单深度图三维人体重建网络

无需RGB，保护隐私

仅用单张深度图像即可重建三维人体网格，摆脱对彩色图像的依赖，在光照不佳或隐私敏感的场景下依然可用。

Rihui, Li · 李东晓 · 张铭

2023

技术优势

无需彩色图像

仅以单张深度图像为输入，摆脱对彩色图像的依赖，从而避免光照影响和隐私泄露风险。

利用网格拓扑

引入图卷积网络，在人体网格的图结构上传播信息，充分挖掘相邻顶点间的拓扑相关性。

不依赖3D真值训练

由于深度图像与3D真值配对的数据集稀少，训练损失仅利用从深度图像推断的2D关键点和2D轮廓约束，降低了对3D标注的依赖。

应用场景

• 隐私保护行为分析：仅用深度图像，不采集面部或纹理信息，可用于养老院等场景的行为监测。
• 医疗康复姿态监测：深度相机对光照不敏感，可在家中康复训练时实时监测姿态。
• 机器人视觉感知：提供3D人体网格，帮助机器人在低光环境中感知人体姿态与位置。
• 无接触人机交互：仅需深度信息即可重建人体，无需接触设备，可用于手势识别等交互。