变形Transformer跟踪器

精度升3%

融合局部与全局特征,并引入时空信息,在多个基准上实现领先精度,同时结构精简、速度达50 FPS。

Wu, Ruixu · 71798512 · 袁立明 · 徐海霞 · Liu, Yanli

Engineering Applications of Artificial Intelligence 2024

参数信息

指标提升
2–3 %
运行速度
50 FPS

技术优势

精度更高

在 LaSOT、GOT-10K、TrackingNet 等六个基准数据集上,指标比基线方法高 2%–3%。

速度够快

模型结构在不影响性能的前提下得到简化,FPS 达到 50,满足实时性要求。

特征更稳

模板帧通过 2D CNN 和自注意力获得从局部到全局的重要特征,搜索帧通过 3D CNN、SFM 和 DAM 获得感兴趣的时空信息,再用交叉注意力建立关联。

应用场景