空间锚点手部重建模型

遮挡下精度提升30%~50%

该模型将手部姿态估计与形状重建统一为检测与生成过程，通过扩散生成策略逐步恢复被遮挡的关节点、顶点和深度，能直接从单张RGB图像中实现高精度三维手部重建。

Li, Xuefeng · 林相波

Information Sciences 2025

参数信息

平均误差提升

30%~50% %

技术优势

无需额外输入

只依赖单张RGB图像和可见2D关节点位置作为线索，就能生成被遮挡的3D关节点、顶点和深度，不需要深度图或多视角信息。

遮挡下精度高

通过扩散生成策略逐步生成并精修被遮挡的关节点、顶点和深度，在HO-3D和DexYCB数据集上，平均误差和Trans&Scale指标比现有最佳方法提升约30%~50%。

特征映射到3D空间

提出的Space Anchor特征逆投影策略，将2D图像特征转换到3D空间，使潜在编码更全面地表示手部形状，提升重建质量。

应用场景

• 具身智能手部感知：用单目RGB实时获取手部3D姿态与形状，增强机器人对操作对象的感知和交互能力。
• 外骨骼手部交互：从普通摄像头估计手部3D姿态，无需额外传感器，可作为外骨骼手部控制的低成本输入。
• 可穿戴手势识别：基于单张RGB图像识别手势，在遮挡情况下仍能重建完整手部3D结构，提升可穿戴设备手势识别鲁棒性。
• 医疗机器人操作：为医疗机器人提供高精度手部姿态估计，辅助精细操作或手部功能评估。