对象关系双粒度交互
该网络在对象级和关系级两个粒度上动态关注与答案相关的图像区域,生成更深层且更贴近人类习惯的视觉问题。
Chai, Zi · 万小军 · Han, Soyeon Caren · Poon, Josiah
Lecture Notes in Computer Science 2023
通过图神经网络建模区域与答案之间的关系,使生成的问题涉及空间或语义推理,而不仅仅描述显著目标。
利用对比学习融合视觉和语义特征,使模型能够更准确地定位与答案相关的图像区域。
在VQA2.0和Visual7w数据集上,自动评估和人工评估均优于所有基线模型,验证了多粒度交互的有效性。