U形Swin Transformer网络
视频事件恢复
通过关键帧推断缺失多帧，挖掘高层次视觉特征与时序上下文。
杨志伟 · 刘静 · Wu, Zhaoyang · Wu, Peng · Liu, Xiaotao
2023
技术优势
学习更高层次特征
通过视频事件恢复任务，网络必须从关键帧推断整个事件，从而挖掘潜在的高层次视觉特征和全面的时序上下文关系。
双跳连辅助恢复
引入交叉注意力和时序上采样残差跳连，帮助恢复视频中复杂的静态与动态运动物体特征。
相邻帧差约束一致性
提出相邻帧差损失，约束视频序列的运动一致性，提升恢复视频的时序连贯性。
应用场景
- 视频异常检测：通过视频事件恢复学习更鲁棒的正常模式，提高异常检测精度。
- 视频事件恢复：从关键帧重建缺失帧，用于视频插帧、压缩恢复等任务。
- 视频理解：挖掘高层次视觉特征和时序上下文，提升视频内容理解能力。
- 关键帧推断：以关键帧为条件推断中间帧，减少视频传输或存储带宽。
- 时序建模：通过时序上采样和相邻帧差约束，建模视频运动一致性。