多粒度上下文聚焦模块

骨架动作识别精度显著提升

该模块能够从骨架数据中捕捉关节和身体部位之间的多粒度上下文关联，从而学习到更具可解释性的动作表示，并与时间判别聚焦模块结合形成统一网络架构，在多个基准上达到领先水平。

Wu, Liyu · Zhang, Can · 邹月娴

Pattern Recognition 2023

技术优势

捕捉远距离关节关联

MCF 模块从身体关节和部位中捕获与动作相关的关联信息，即使关节在物理连接上相距很远，也能建模其协同运动。

减少输入冗余

TDF 模块聚焦时间动态中的局部敏感点，减少密集采样带来的冗余，提高计算效率。

表示更具可解释性

MCF 获得的动作序列表示更具可解释性，有助于理解模型关注的关键关节和部位。

三个基准上达到最优

在 NTU-RGB+D 60、NTU-RGB+D 120 和 Kinetics-Skeleton 三个挑战性基准上显著超越现有方法。

应用场景

• 视频动作理解：提取更鲁棒的动作模式，提升视频中骨架动作识别的准确率。
• 人机交互意图识别：通过学习可解释的关节关联，更准确地识别人体动作意图。
• 机器人运动分析：从骨架拓扑中捕获鲁棒运动模式，辅助机器人理解和分析人类运动。
• 人形机器人动作学习：通过多粒度上下文聚合和时间依赖性建模，为人形机器人提供可学习的动作表示。