多维自适应图卷积网络

动作识别新精度

在骨架动作识别中，通过多维自适应图结构和动态时序卷积，捕捉更丰富的关节点关联与时序特征。

夏瑜 · Qingyuan, Gao · Wu, Weiguan · 曹毅

Engineering Applications of Artificial Intelligence 2024

技术优势

图结构随样本自适应

MD-AGCN 能根据各层和各样本中的空间、时间、通道多维信息自适应改变图拓扑，从而捕获每对关节点之间的复杂连接，比固定拓扑更能捕捉动作特异性。

时序特征表达更强

DY-TCN 通过动态时序卷积提升了模型捕捉表现性时序特征的能力，从而更好地建模动作随时间的变化模式。

多流融合精度高

同时建模关节点、骨骼及其运动信息的多流框架带来显著的识别精度提升，在多个标准数据集上验证有效。

应用场景

• 人机交互动作识别：提供高精度骨架动作识别模型，可用于改善人机交互中的动作理解。
• 手势控制与体感交互：模型能识别骨架手势，适合用于手势控制和体感交互系统。
• 机器人行为识别：通过骨架数据识别行为，可应用于机器人对人类行为的理解与响应。
• 康复训练动作评估：模型可基于骨架序列评估动作，有望用于康复训练中的动作规范性分析。