分层一致性网络

未修剪视频表征

从未修剪视频中学习层次化时序一致性,同时提升修剪视频的表征质量。

Qing, Zhiwu · Zhang, Shiwei · Huang, Ziyuan · 徐易 · Wang, Xiang · 高常鑫 · 金融 · 桑农

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

技术优势

未修剪视频也能学到强表征

通过主题一致性耦合长时程语义相关的片段,标准对比学习失效的场景下仍能生成高质量特征。

修剪视频上同样受益

学到的层次一致性约束具有泛化性,应用于修剪视频时能进一步提升表征质量。

采样过程有理论保证

渐进采样算法被证明能更有效地挖掘层次一致性对,优于随机采样。

应用场景