语言引导残差图注意网络

长难表达更稳

通过残差连接加深图卷积，并引入语言引导的数据增强，使模型在复杂指代表达上表现更优。

Jia, Wang · Shuai, Honghan · Li, Yunghui · Wen-Huang, Cheng

ACM Transactions on Multimedia Computing, Communications and Applications 2023

技术优势

长难表达更稳

残差连接允许堆叠更深的图卷积层，聚合更远的上下文，使模型能解析复杂的长指代表达。

数据增广保住对应关系

语言引导的数据增强利用复制粘贴操作生成新训练样本，同时保持图像中物体与表达之间的对应关系，提升训练数据多样性。

应用场景

• 视觉语言导航：在复杂场景中根据长指令定位目标物体，提升导航对语言指令的理解鲁棒性。
• 人机交互：解析用户长而具体的指代表达，让机器人准确找到所指物体，减少交互歧义。
• 机器人操作：根据自然语言指令定位操纵目标，替代人工标注或固定模板，提高灵活性。
• 工业视觉检测：用自然语言描述缺陷位置和特征，辅助质检人员快速定位异常区域。
• 多媒体检索：支持用户用长句描述图像中特定物体，实现更精确的跨模态检索。