SPMHand手部重建网络

遮挡下仍精准

通过分割引导的渐进多路径回归，从单张RGB图像中推断被遮挡的手部姿态与形状，在严重遮挡场景下显著优于现有方法。

Haofan, Lu · 缑水平 · 李睿敏

IEEE Transactions on Multimedia 2024

技术优势

遮挡下性能显著提升

渐进多路径回归模块利用从深到浅的特征，从粗到细逐步回归精细手部，结合中间监督，使网络在严重手物遮挡下表现优异。

真实与合成场景通吃

在四个具有挑战性的数据集上，SPMHand 在真实世界和合成场景中均超越了现有最先进方法，证明了模型的泛化能力。

应用场景

• 人机交互：用单目相机实时捕捉手部动作，无需佩戴设备，提升交互自然度。
• 手语识别：在手部自遮挡和物体遮挡下仍能恢复完整手形，提升手语识别的准确性。
• 虚拟现实：仅需 RGB 图像即可重建手部姿态与形状，降低 VR 交互的追踪成本。
• 增强现实：在真实环境中遮挡频繁时仍能稳定估计手部，增强 AR 交互可靠性。
• 手势控制：准确估计手势，可用于无接触操控设备，尤其在遮挡场景下依然有效。