分层视觉语言模型

VQA达人类水平

针对VQA任务设计的分层框架,通过多样化视觉语义学习、增强多模态预训练和知识引导模型集成,将性能提升至与人类相当的水平。

Yan, Ming · Xu, Haiyang · 李晨亮 · Tian, Junfeng · Bi, Bin · 王伟 · Xu, Xianzhe · Zhang, Ji · Huang, Songfang · Huang, Fei · Si, Luo · 金融

ACM Transactions on Information Systems 2023

技术优势

人类水平

在 VQA 任务上性能与人类相当或略优。

分而治之

级联框架逐步解决 VQA 中的实际问题。

专家集成

三个专家模块处理不同类型的问题,提升复杂 VQA 表现。

应用场景