串并行多尺度手关节检测网络

精度领先且实时

利用串联多尺度特征融合与解剖学关系相互强化，在多个数据集上实现最优的手关节定位精度，单只手处理仅需24–37毫秒，可直接支持实时交互。

Li, Bin · 李睿敏 · Wendi, Wang · Fu, Hong

Neurocomputing 2023

参数信息

PCK@0.2

0.94

PCK@0.2

0.92

PCK@0.2

0.84

PCK@0.2

0.97

单只手处理时间

24-37 ms

技术优势

多尺度特征融合

并行多尺度分支提取不同感受野特征，初始热图经解剖关系相互强化，提升遮挡和模糊情况下的定位精度。

解剖关系约束

利用手关节间的固定连接关系修正检测结果，减少生理上不可能的错误预测。

实时处理速度

单只手推理时间 24–37 毫秒，满足多数实时交互应用的帧率要求。

应用场景

• 手部动作识别：在手语、指挥手势等场景中快速定位关节以识别动作。
• 人机交互：支持触摸屏之外的裸手操控，降低延迟提升交互自然度。
• 机器人操控：为机器人提供精确的手部关键点，辅助抓取与遥操作。
• VR/AR 手势交互：在虚拟环境中实时还原手部姿态，增强沉浸感与操作精度。