帧间差分运动感知网络

时空判别力更强

通过帧间差分提取连续运动特征并结合全局-局部对比学习,增强时空判别力,在动作识别与视频检索上取得有竞争力的性能。

Bi, Shuai · Hu, Zhengping · 赵梦瑶 · Zhang, Hehao · Jirui, Di · Sun, Zhe

Advanced Engineering Informatics 2023

技术优势

显式捕捉运动

通过帧差直接从空间区域提取连续运动特征,避免依赖隐式表征,为后续对比学习提供更明确的运动信号。

更广的相似性比较

将上下文和增强视频片段定义为正样本,在全局和局部两个层面进行特征相似性对比,强化模型的时空判别能力。

可靠的全局语义

通过片段操作预测感知连续帧特征变化,辅助对比学习获得更可靠的全局语义表示,提升下游任务性能。

应用场景