双流关系学习网络

精准图文检索

几何敏感自注意力与双信息融合协同建模，提升视觉语义推理与图文对齐能力，不靠复杂模型结构即实现精准检索。

Wu, Dongqing · 李晖晖 · Cang, Gu · Lei, Guo · 刘航

IEEE Transactions on Multimedia 2024

技术优势

对齐更准

采用掩码交叉注意力与自适应门控融合，充分融合区域与网格特征，捕获全面视觉信息，实现更精细的跨模态对齐。

推理更强

通过几何敏感的交互式自注意力扩展原始自注意力，从两方面建模区域内在关系，提升高层视觉语义推理能力。

层次对应

通过局部与全局对齐学习图像与句子间更全面的层次化对应关系，增强检索鲁棒性。

应用场景

• 机器人视觉语义导航：利用精准图文对齐帮助机器人理解指令与场景，提升导航目标识别准确性。
• 多模态人机交互：通过细粒度视觉语义推理支持更自然的语言指令响应，增强人机交互体验。
• 基于语言的目标抓取：借助区域与网格特征融合实现对目标物体的精确匹配，提高按指令抓取成功率。
• 智能监控视频检索：利用高效的图文检索能力快速定位监控视频片段，提升安防检索效率。