视觉问答精准交互
该网络通过增强图像与问题间的跨模态推理,结合答案类型预测与语义对齐解码器,实现更准确的视觉问答。
Zhang, Jing · Jiong, Teng · 丁炜超 · Wang, Zhe
Neural Computing and Applications 2025
跨模态推理模块对图像目标区域的视觉语义信息进行有效分析与理解,增强图像与问题之间的交互。
引入答案类型预测模块,利用多任务学习与答案类型标注,过滤掉无关的语义信息,提高推理准确性。
语义辅助的注意力对齐解码器确保视觉与语义数据的精确对齐,进一步改善答案生成。
在广泛使用的公开数据集上,该网络取得了优异的视觉问答性能,超过了大多数现有方法。