分层时空Transformer骨架

长程依赖高效捕获

通过分层时空Transformer统一骨架序列时空建模,显著提升动作识别性能。

Liu, Haowei · Yongcheng, Liu · Chen, Yuxin · 原春锋 · 李兵 · 胡卫明

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

Top-1 准确率 (NTU RGB+D)
91.8 %
Top-1 准确率 (NTU RGB+D 120)
89.7 %

技术优势

长程依赖被有效捕获

通过分层时间划分与聚合,模型能同时捕获长程依赖和细微时间结构。

空间拓扑被利用

空间 Transformer 利用人体拓扑先验,促进空间相关性建模。

信息损失减少

差异感知聚合方法在时间聚合过程中减少信息损失。

性能超越最先进

在两个挑战性基准数据集上显著超越现有最优方法。

应用场景