跨模态图推理模型

动态适应多任务

该模型动态调整视觉与文本间的关系表示，在多模态教材理解任务中优于现有基线。

宋凌云 · Wenqing, Du · 韩晓林 · 甘新标 · Wang, Xiaoqi · 尚学群

Information Fusion 2025

技术优势

动态适应任务

模型利用不同任务中的上下文信号动态调整视觉与文本间的关系表示，而非使用固定图结构。

超越现有表现

在三个多模态教材数据集上，模型在生成准确分类和答案方面优于最先进的基线方法。

应用场景

• 智能辅导系统：为智能辅导系统提供教材内容理解，支持自动答疑与学习诊断。
• 教育生成式AI：作为教育生成式AI的基础模型，生成准确且上下文相关的教学内容。
• 多模态交互：增强系统对图文多模态交互的理解，提升人机协作学习体验。
• 自适应学习：通过动态关系推理，为自适应学习系统提供个性化内容推荐依据。