知识增强视觉问答模型

答案与解释高度一致

该模型通过迭代共识生成答案和解释，并引入知识检索模块引入外部知识，有效弥合图像和问题之间的语义鸿沟，生成高质量的答案-解释对。

Xie, Jiayuan · 蔡毅 · Jiali, Chen · Ruohang, Xu · Wang, Jiexin · Li Q.

IEEE Transactions on Image Processing 2024

参数信息

数据集数量

3

技术优势

答案与解释一致

通过迭代共识生成器，在每轮生成中让答案引导解释生成，解释再引导新答案，从而确保最终答案与解释相互印证。

引入外部知识

知识检索模块提供候选知识，引导生成过程，弥合图像与问题之间的语义鸿沟，提升解释的准确性。

应用场景

• 可解释视觉问答：为视觉问答提供自然语言解释，使系统决策透明可追溯。
• 多模态智能交互：支持图像与文本的联合推理，提升交互系统的理解与响应质量。
• 知识驱动的视觉理解：通过外部知识增强视觉理解，弥补图像与问题间的语义鸿沟。
• 智能问答系统：生成带解释的答案，增强问答系统的可信度和用户体验。