DCMAI跨模态对齐框架

文档信息抽取SOTA

通过动态跨模态对齐与高效交互采样，在文档关键信息抽取任务上达到最先进性能。

Pengcheng, Guo · 宋永红 · Yongbiao, Deng · Kangkang, Xie · Mingjie, Xu · Liu, Jiahao · Haijun, Ren

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

相似文本不再混淆

利用先验知识引导的模块挖掘细粒度视觉信息，在跨模态交互前区分相似文本表示。

对齐后交互更准

采用交叉对齐损失在跨模态交互前对齐表示，提升后续交互质量。

计算开销更低

层级交互采样方案选出少量高效负样本子集，避免对所有负样本进行自注意力计算。

性能超越基线

在多个公开下游基准上取得最先进性能。

应用场景

• 文档信息抽取：自动抽取发票、保单等文档中的关键信息。
• 文档理解：理解复杂版式文档，获得更好的联合表示。
• 多模态信息处理：融合文本与视觉信息，提升跨模态交互效果。