视频问答性能提升
通过动态交互学习提取问题导向的视觉线索和视频驱动的文本语义,实现视频与问题之间的有效推理。
彭旻 · Shao, Xiaohu · 石玉 · 周祥东
2023
通过异构图交互逐步细化问题语义理解和视觉表示提取,弥补了现有方法交互不足的缺陷。
分别提取问题驱动的视觉线索和视频驱动的文本语义,模拟人类回答问题的过程,实现有效推理。
在三个基准数据集上的实验表明,TSHGNet的性能优于先前的最先进方法。