骨骼对齐重排交互识别

仅骨骼即可交互识别

STAR在训练时利用RGB视频增强骨骼表征，推理时仅依赖骨骼序列，在多个基准上优于现有方法。

Yuhang, Wen · 刘梦源 · Tang, Zixuan · Yuan, Junsong · Sirui, Li · 丁北辰

IEEE Transactions on Multimedia 2026

技术优势

训练后仅需骨骼

在推理阶段只使用骨骼序列，保持高效率的同时保留了RGB增强带来的判别力。

对齐视觉线索

通过将骨骼和RGB视频表示对齐到共享潜在空间，弥补了骨骼缺乏视觉信息的问题。

应用场景

• 人机交互识别：仅用骨骼序列实时识别人机交互动作，摆脱对视觉传感器的依赖。
• 人形机器人交互：为人形机器人提供基于骨骼的交互感知，提升其理解人类动作的能力。
• 服务机器人感知：增强服务机器人在低光或隐私敏感场景下的交互感知能力。
• 具身智能交互：为具身智能体提供高效、鲁棒的交互识别能力，支撑自然交互。