细粒度视频故事生成器

长视频理解免微调

将长视频解析为多粒度层次化文本表示，去除视觉与文本冗余，使单一方法免微调适配多种视频理解任务。

Zeng, You · Wen, Zhiquan · Chen, Yaofo · Li, Xin · 曾润浩 · Wang, Yaowei · 谭明奎

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

验证数据集数量

8

覆盖任务数

3

技术优势

免微调即用

生成的多粒度文本表示可直接用于多种下游任务，无需针对每个任务重新训练模型。

消除冗余干扰

在视觉和文本两个层面去除冗余信息，避免无关内容对长视频理解的干扰。

应用场景

• 视频监控：自动生成监控视频的层次化文字描述，便于快速检索异常事件。
• 内容检索：将视频转为多粒度文本，支持基于文本的精准视频内容检索。
• 长视频理解：提供细粒度层次表示，提升长视频中复杂时序关系的理解。