多层次骨架自监督学习

细粒度动作识别

该框架通过联合、序列和语义三个层次的互补自监督学习，利用大型多模态模型增强相似动作的判别能力。

Tian, He · Yang, Chen · Gao, Xu · 王玲 · 黄瑞 · 程洪

Knowledge-Based Systems 2025

技术优势

相似动作也能分清

通过预训练大模型生成判别性文本描述，并用加权软对齐将文本与骨架映射到同一空间，语义级蒸馏显著增强了相似动作的区分能力。

三个层级互补学习

关节、序列、语义三个层级的自监督任务协同工作，使模型学到不同粒度的通用表征，提升动作表示的整体质量。

应用场景

• 人机交互：细粒度动作识别提升手势、姿态交互的准确性与响应自然度。
• 动作识别：预训练模型可直接用于骨架动作识别，省去从零训练成本。
• 机器人模仿学习：学习到的细粒度动作表征可帮助机器人更精准地模仿人类动作。
• 医疗康复评估：对相似动作的区分能力有助于更准确地评估康复训练动作质量。