频率融合Transformer跟踪器

高频细节不丢

用两级小波融合把高频纹理与语义全局建模结合起来，解决了Transformer跟踪器对边缘信息的灾难性遗忘。

Xiantao, Hu · 钟必能 · Liang, Qihua · 张盛平 · Ning, Li · 李先贤 · 纪荣嵘

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

上达到

77.2 %

上达到

72.0 %

上达到

59.4 %

在跟踪速度上

47.6 FPS

技术优势

多频信息平衡

在预测头阶段利用多种小波分解子带对多频信息建模，两级融合使模型同时捕获纹理、局部边缘和全局信息。

应用场景

• 视频目标跟踪：在复杂场景中稳定跟踪快速运动目标，替代对高频细节不敏感的普通Transformer跟踪器。
• 无人机视觉跟踪：在无人机视角下保持对纹理丰富目标的精确跟踪，减少因边缘信息丢失导致的漂移。
• 智能监控：在监控视频中区分外观相似的行人或车辆，利用高频细节提升身份保持能力。