时间多尺度互补网络

高效互补视频表征

连续帧通过多分辨率分支提取互补特征，在保持判别力的同时大幅降低计算冗余。

Hou, Ruibing · Hong, Chang · 马丙鹏 · 黄锐 · Shiguang, Shan

Jisuanji Xuebao/Chinese Journal of Computers 2023

参数信息

连续帧送入不同分辨率分支，迫使每帧关注不同空间尺度的区域，从而发现多样化的视觉特征，最终形成完整的身份表征。

将部分帧降采样到低分辨率并用小网络处理，高分辨率帧才用大网络，合理分配计算资源，整体计算量比现有方法减少约 65%。

在 LS-VID 基准上，mAP 提升约 4.5%，top-1 准确率提升约 3.1%，在降低计算量的同时保持领先性能。

Cross-Branch Fusion Module 将低分辨率分支的全局粗特征逐步传播到高分辨率分支，使最终多尺度特征同时包含局部细节和全局互补信息，判别力更强。