文本图像再识别模型

抗噪不均衡

一种两阶段训练管线，通过噪声对应检测器和多视角三元组损失，在不平衡多视角数据下学习更稳健的文本-图像再识别特征。

Yongxi, Li · 唐文忠 · Ke, Zhang · Xi, Zhu · Haoming, Wang · 王帅

Multimedia Systems 2024

技术优势

噪声对应可检测

基于异质关系检索的检测器为每个样本对估计置信权重，从而识别并剔除错误配对的文本-图像对。

样本不均衡被缓解

多视角三元组损失让样本级特征与全局类中心交互，推动特征空间分布更平滑，缓解类别样本数不平衡的影响。

超越现有方法

在RSTPReid、CUHK-PEDES和ICFG-PEDES三个基准上的大量实验验证了方法的有效性，优于当前最先进的TIReID方法。

应用场景

• 智能安防：在监控视频中跨摄像头检索行人，即使文本描述与图像存在噪声也能可靠匹配。
• 跨模态检索：用文本查询图像库，无需精确标注，适合大规模跨模态搜索任务。
• 行人再识别：为行人再识别提供抗噪且适应类别不平衡的训练策略，提升实际部署鲁棒性。
• 多模态生物识别：融合文本与图像两种模态进行身份识别，增强多模态生物特征系统的可靠性。