差分感知视频问答模型

动态变化提问

该模型聚焦视频帧间的时序差异，生成针对对象运动、状态及关系变化的问题，比现有方法更贴合动态场景。

Xie, Jiayuan · Jiali, Chen · Zhenghao, Liu · 蔡毅 · 黄清宝 · Li, Qing

IEEE Transactions on Circuits and Systems for Video Technology 2024

参数信息

性能提升（SVQA）

17.1 %

技术优势

提问更贴变化

通过差分提取器定位帧对间的时序差异，使问题针对对象运动、状态和关系的实际变化而非静态场景。

问题更贴答案

答案感知模块选出与答案最相关的帧对差异，引导解码器生成更相关的问题，提升与ground truth的相似度。

应用场景

• 视频内容理解：自动生成针对动态内容的问题，辅助理解视频中事件变化。
• 视频标注工具：为视频片段自动生成问答对，减少人工标注成本。
• 具身智能数据增强：针对动态交互生成多样化问题，扩充具身智能训练数据。