Top-1 达 64.18%
一种端到端提取跨模态局部-关系-全局特征并进行三层细粒度对齐的人员搜索模型,在CUHK-PEDES上达到最优。
Junfeng, Zhou · Baigang, Huang · Wenjiao, Fan · Ziqian, Cheng · Zhuoyi, Zhao · Zhang, Weifeng
Knowledge-Based Systems 2023
在局部、关系和全局三个特征层次上同时进行细粒度跨模态对齐,弥补了仅匹配局部和全局特征而忽略关系信息的不足。
隐式学习图像和文本中蕴含的关系信息,增强特征表示,从而提升跨模态匹配的准确性。
设计关系感知的图注意力网络融合局部和关系特征,生成更具判别力的全局表示。
在CUHK-PEDES数据集上达到64.18%的Top-1准确率,领先现有方法。