轨迹词对齐网络

视频检索新SOTA

通过轨迹到词的注意力对齐视频中的物体轨迹与文本，解决视频-语言任务。

Yang, Xu · Zhangzikang, Li · Xu, Haiyang · Zhang, Hanwang · Ye, Qinghao · 李晨亮 · Yan, Ming · 张宇 · Huang, Fei · Huang, Songfang

2023

技术优势

更关注时间连续

T2W注意力对轨迹内所有patch进行建模，避免P2W只关注孤立空间区域而忽略物体运动轨迹。

算力不增加训练

HFS只在微调阶段插入，逐步选择适合帧，避免增加预训练负担，同时保留关键时间上下文。

应用场景

• 视频检索：作为检索模型，直接替换现有backbone以提升检索排名精度。
• 视频问答：凭借轨迹对齐，在长视频中定位答案相关片段，减少冗余帧干扰。
• 多模态表示学习：输出轨迹感知的联合嵌入，可直接用于下游跨模态任务。
• 视频理解：通过显式建模物体轨迹，增强对视频中动态事件的理解能力。