跨模态精准对齐
针对教育幻灯片中图文、公式与表格的复杂关联，用双对抗二分超图学习实现从图形到口语段落的精确双向映射。
李明 · Siwei, Zhou · 陈雨亭 · 黄昌勤 · Jiang, Yunliang
Information Fusion 2024
利用生成对抗网络与图文双通道，实现图形与描述性口语段落的稳健双向映射，确保全面的跨模态检索体验。
开发基于框架波的深度二分超图神经网络，有效管理多样教育内容类型与各类幻灯片图形之间的高阶关系。
在反映真实教学环境的 Multimodal Lecture Presentations 数据集上进行评估，证明了其优越性能。