TSHGNet双流异构图网络

视频问答性能提升

通过动态交互学习提取问题导向的视觉线索和视频驱动的文本语义,实现视频与问题之间的有效推理。

彭旻 · Shao, Xiaohu · 石玉 · 周祥东

2023

技术优势

交互更充分

通过异构图交互逐步细化问题语义理解和视觉表示提取,弥补了现有方法交互不足的缺陷。

双流互补

分别提取问题驱动的视觉线索和视频驱动的文本语义,模拟人类回答问题的过程,实现有效推理。

超越现有最优

在三个基准数据集上的实验表明,TSHGNet的性能优于先前的最先进方法。

应用场景