SPMHand手部重建网络
遮挡下仍精准
通过分割引导的渐进多路径回归,从单张RGB图像中推断被遮挡的手部姿态与形状,在严重遮挡场景下显著优于现有方法。
Haofan, Lu · 缑水平 · 李睿敏
IEEE Transactions on Multimedia 2024
技术优势
遮挡下性能显著提升
渐进多路径回归模块利用从深到浅的特征,从粗到细逐步回归精细手部,结合中间监督,使网络在严重手物遮挡下表现优异。
真实与合成场景通吃
在四个具有挑战性的数据集上,SPMHand 在真实世界和合成场景中均超越了现有最先进方法,证明了模型的泛化能力。
应用场景
- 人机交互:用单目相机实时捕捉手部动作,无需佩戴设备,提升交互自然度。
- 手语识别:在手部自遮挡和物体遮挡下仍能恢复完整手形,提升手语识别的准确性。
- 虚拟现实:仅需 RGB 图像即可重建手部姿态与形状,降低 VR 交互的追踪成本。
- 增强现实:在真实环境中遮挡频繁时仍能稳定估计手部,增强 AR 交互可靠性。
- 手势控制:准确估计手势,可用于无接触操控设备,尤其在遮挡场景下依然有效。
相关科技单元