通用图表解析框架

即插即用配大模型

一个统一框架无缝完成图表组件检测与内容解析，无需手工规则，自动适应各类图表结构。

Cheng, Zhiqi · Dai, Qi · Hauptmann, Alexander Georg

2023

技术优势

无需手工规则

通过 Transformer 组件检测模块和扩展的视觉-语言模型自动学习图表规则，不再需要针对不同图表类型编写启发式规则。

即插即用大模型

通过数据变量替换和扩展输入及位置嵌入进行跨任务训练，使得模型能够直接与 T5、TaPas 等主流大模型对接，无需重新设计流程。

多任务全面领先

在 Chart-to-Table、ChartQA 和 Chart-to-Text 三个基准上均优于现有方法，展示了框架的通用性和有效性。

应用场景

• 多模态文档智能：自动解析图表结构，让文档智能系统无需人工标注即可处理复杂图表数据。
• 大模型数据管道：将图表转换为结构化数据，直接作为大模型训练或推理管道的输入。
• 工程制图解析：检测组件与解析内容，用于工程图纸中图表元素的自动提取与理解。
• 视觉问答系统：将图表图像转为结构化表示，为 VQA 系统提供可靠的答案依据。