DSTA姿态回归网络

实时多人姿态回归

解耦关节时空建模，跳过热图直接回归坐标，在视频多人姿态估计上超过同期热图方法。

Jijie, He · 杨文武

2024

参数信息

mAP提升

8.9

技术优势

实时跑得动

跳过热图中间表示，直接回归关节点坐标，大幅降低每帧计算量和存储需求，适合在边缘设备上部署实时姿态估计。

关节轨迹独立建模

通过解耦时空聚合，分别捕捉相邻关节的空间关系和每个关节自身的时间轨迹，避免时空维度混叠，提升建模灵活性。

专用关节令牌

为每个关节学习专用特征令牌，便于显式建模关节间的时空依赖关系，增强模型表达能力。

应用场景

• 视频动作识别：在视频中实时获取人体关节点轨迹，辅助动作分类与行为理解和时序建模。
• 边缘端人体姿态估计：无需热图，计算量低，可在边缘设备上直接运行姿态估计，替代传统热图方法。
• 医疗康复姿态分析：实时获取患者关节坐标，可用于康复训练中的动作监测和量化评估。
• 人机交互控制：提供快速准确的人体姿势，让机器人实时理解人的动作意图并做出响应。