跨模态人员搜索模型

Top-1 达 64.18%

一种端到端提取跨模态局部-关系-全局特征并进行三层细粒度对齐的人员搜索模型,在CUHK-PEDES上达到最优。

Junfeng, Zhou · Baigang, Huang · Wenjiao, Fan · Ziqian, Cheng · Zhuoyi, Zhao · Zhang, Weifeng

Knowledge-Based Systems 2023

参数信息

准确率
64.18 %
准确率
82.97 %
准确率
89.85 %

技术优势

多层细粒度对齐

在局部、关系和全局三个特征层次上同时进行细粒度跨模态对齐,弥补了仅匹配局部和全局特征而忽略关系信息的不足。

关系编码模块

隐式学习图像和文本中蕴含的关系信息,增强特征表示,从而提升跨模态匹配的准确性。

关系感知图注意力网络

设计关系感知的图注意力网络融合局部和关系特征,生成更具判别力的全局表示。

SOTA性能

在CUHK-PEDES数据集上达到64.18%的Top-1准确率,领先现有方法。

应用场景