多粒度视觉提问生成网络

对象关系双粒度交互

该网络在对象级和关系级两个粒度上动态关注与答案相关的图像区域,生成更深层且更贴近人类习惯的视觉问题。

Chai, Zi · 万小军 · Han, Soyeon Caren · Poon, Josiah

Lecture Notes in Computer Science 2023

技术优势

能问更深的问题

通过图神经网络建模区域与答案之间的关系,使生成的问题涉及空间或语义推理,而不仅仅描述显著目标。

对象级交互更精准

利用对比学习融合视觉和语义特征,使模型能够更准确地定位与答案相关的图像区域。

全面超越基线

在VQA2.0和Visual7w数据集上,自动评估和人工评估均优于所有基线模型,验证了多粒度交互的有效性。

应用场景