Koopman时序对比网络

捕获高阶时序动态

一个受Koopman理论启发的自监督对比学习框架,能够学习动作序列中具有判别力的分段局部线性系统动态,从而提升骨骼动作识别的准确率。

王星瀚 · 穆亚东

IEEE Transactions on Multimedia 2024

技术优势

捕获高阶时序动态

通过将动作序列映射到新空间,使时序演化变为线性,从而学习判别性的线性系统动态。

适应不同动作阶段

引入分段局部线性动态和交叉匹配机制,对齐同一动作序列中不同阶段的动态。

跨阶对比增强

提出跨阶对比损失,进一步放大不同阶特征间对比的效果。

应用场景