双向时差时空自适应网络

运动趋势与关键外观兼得

以双向时间差分同时捕获动作的动态运动趋势与判别性外观特征，在多个主流基准上取得更优精度。

Zhilei, Li · Li, Jun · Yuqing, Ma · Rui, Wang · 施智平 · Yifu, Ding · 刘祥龙

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

运动趋势看得准

时域自适应模块利用双向时间差分学习有价值的运动趋势，并在信息融合时平衡静态语义与动态运动。

关键外观抓得住

空域自适应模块借助双向时间差分获得空间-通道注意力，突出判别性的位置相关与语义相关外观特征。

基准上全面领先

在UCF-101、HMDB-51、Something-Something V1、Kinetics-400四个广泛使用的基准上均优于现有最优方法。

应用场景

• 视频理解：以双向时间差分有效建模动态与静态信息，提升视频内容理解精度。
• 自动驾驶感知：实时提取运动趋势与关键外观，增强对道路参与者动作的感知。
• 智能监控：准确识别监控视频中的异常行为，提高安防事件检测效率。
• 人机交互：捕捉手势与体态的运动趋势，支持更自然的人机交互控制。