场景文本视频描述模型

读视频文字，写专属描述

这是首个为视频场景文字描述任务设计、能动态整合画面文字并生成针对性描述的模型。

Tao, Jin · Wang, Lin · Hao, Jiang · Jian, Wang · Xiao, Jin · Zhimeng, Zhang · Chen, Jingyuan · 赵洲 · Zhongfei, Zhang

Expert Systems with Applications 2025

参数信息

数据集规模

20k

标注描述数量

80k

技术优势

能读视频里的文字

模型采用基于指针网络的生成器，动态感知视频中的场景文字，从而生成包含具体文字信息的描述。

生成的描述更具体

通过层级对比机制在模态级和时间级施加约束，增强对场景文本信息的有效利用，使描述内容更具体。

用场景聚类提升理解

场景交互编码器将每一帧与相关视频场景关联，聚类语义相关的帧和物体，从而提升描述质量。

应用场景

• 电商视频理解：为电商视频自动生成包含商品文字信息的描述，提升搜索与推荐效果。
• 场景文字识别：将场景文字识别与视频描述结合，增强对视频内容的理解。
• 多模态内容生成：生成融合视觉与文字信息的视频描述，推动多模态内容创作。