跨模态异构图推理网络

视觉问答精准交互

该网络通过增强图像与问题间的跨模态推理,结合答案类型预测与语义对齐解码器,实现更准确的视觉问答。

Zhang, Jing · Jiong, Teng · 丁炜超 · Wang, Zhe

Neural Computing and Applications 2025

技术优势

跨模态推理更深入

跨模态推理模块对图像目标区域的视觉语义信息进行有效分析与理解,增强图像与问题之间的交互。

答案类型预测剔除噪声

引入答案类型预测模块,利用多任务学习与答案类型标注,过滤掉无关的语义信息,提高推理准确性。

对齐更精准

语义辅助的注意力对齐解码器确保视觉与语义数据的精确对齐,进一步改善答案生成。

性能超越现有方法

在广泛使用的公开数据集上,该网络取得了优异的视觉问答性能,超过了大多数现有方法。

应用场景