捕获高阶时序动态
一个受Koopman理论启发的自监督对比学习框架,能够学习动作序列中具有判别力的分段局部线性系统动态,从而提升骨骼动作识别的准确率。
王星瀚 · 穆亚东
IEEE Transactions on Multimedia 2024
通过将动作序列映射到新空间,使时序演化变为线性,从而学习判别性的线性系统动态。
引入分段局部线性动态和交叉匹配机制,对齐同一动作序列中不同阶段的动态。
提出跨阶对比损失,进一步放大不同阶特征间对比的效果。