IDT-GCN时间动作分割网络

骨架动作细粒度分割

提出增强空间图结构和时间分割回归网络,在骨架动作分割上显著超越现有方法,并可与基线TCN结合取得竞争性性能。

Li, Yunheng · Liu, Kaiyuan · 刘胜蓝 · 冯林 · 乔红

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

Breakfast
50 Salads RGB

技术优势

单拓扑同时捕获关节相似与差异

学习两个独立的关联建模函数,在同一拓扑中自适应提取关节间的相似性与差异性依赖,动作区分更精细。

多拓扑区分不同动作空间模式

在所定义的通道上使用多个增强拓扑,对不同动作的空间相关性分别建模,减少相似动作间相互干扰。

回归建模动作边界

时序分割回归网络同时提取分割编码特征和动作边界表示,缓解相似帧导致的边界不准。

模块化可直接增益基线

TSR 作为通用模块加入 TCN 基线后,在 RGB 数据集上达到与 transformer 方法相当的性能,无需整体替换架构。

应用场景