回答前定位网络

长视频问答提速

该模型将长视频中的问题聚焦到相关片段，通过端到端联合训练提升回答准确性。

Qian, Tianwen · Cui, Ran · 陈静静 · Peng, Pai · Xiaowei, Guo · Jiang, Yugang

IEEE Transactions on Multimedia 2023

技术优势

先定位，再回答

先用定位模块把问题集中到短视频片段，回答模块只处理该片段，避免在无关内容上浪费算力。

用答案监督定位

训练时用答案标签为定位模块生成伪时间标签，无需额外标注即可让模型学会找关键片段。

三个长视频基准最优

LocAns 在 NExT-QA、ActivityNet-QA 和 AGQA 上均达到最佳性能，证明该方案对长视频问答普遍有效。

应用场景

• 视频问答：长视频问答中先定位关键片段，提升回答准确率。
• 多模态理解：联合建模视频与文本，聚焦问题相关视觉内容。
• 长视频分析：过滤场景切换和冗余，高效处理分钟级视频。