时空Transformer跟踪器

时空融合更稳健

本跟踪器通过扁平化Transformer架构与时空序列注意力模块的融合,在多个基准上取得竞争性结果,同时兼顾了效率与表达力。

Wu, Ruixu · Liu, Yanli · Wang, Xiaogang · Peilin, Yang

Image and Vision Computing 2024

技术优势

效率更高

通过扁平化Transformer精简结构,减少参数和计算量,在保证精度的同时速度提升1.67倍。

时空关联建模

将多帧特征图与边界框坐标同时输入,通过时空序列注意力模块整合时序信息,提供历史趋势预测序列。

模板更稳健

采用扩散方法构建跟踪模板,改善模板稳定性,提升跟踪器的鲁棒性。

多基准验证

在GOT-10k、LaSOT、TrackingNet、VOT2020、OTB100和UAV123六个基准上取得竞争性结果,证明了方法的有效性。

应用场景