多视图超图神经网络

骨架动作识别新SOTA

通过同时捕捉多视角下肢体与相邻关节的空间高阶关系及不同时刻关节的时间高阶关系,生成互补动作特征,有效提升骨架动作识别精度。

马楠 · Wu, Zhixuan · 丰一帆 · Cheng, Wang · Gao, Yue

IEEE Transactions on Image Processing 2024

技术优势

捕捉高阶关节关系

通过构建空间和时间超图,同时建模肢体部件、相邻关节以及连续时间下同一视角关节之间的高阶语义关系,生成互补动作特征。

多视图信息增强

利用不同视角下的关节点特征构建多视图时序超图,融合多视角信息以应对遮挡和视角变化,提升识别鲁棒性。

达到最新最优性能

在NTU RGB+D、NTU RGB+D 120和交警手势模仿三个公开数据集上的实验结果显示,模型性能超越现有方法。

应用场景