双路径时空聚合重识别网络

跨模态检索精度新突破

通过中介引导的双向时空聚合，同时缓解模态差异并挖掘视频时空信息，在多个基准上显著超越现有方法。

李华锋 · Minghui, Liu · 户战选 · Feiping, Nie · 余正涛

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

rank-1 提升（红外到可见光）

1.29 %

mAP 提升（红外到可见光）

3.46 %

rank-1 提升（可见光到红外）

5.04 %

mAP 提升（可见光到红外）

3.27 %

技术优势

跨模态检索更准

通过中介引导学习模态无关特征，在红外到可见光场景下 rank-1 提升 1.29%，mAP 提升 3.46%。

噪声帧影响小

双向时空聚合模块在利用视频时空信息的同时，能够减轻噪声帧的影响。

应用场景

• 全天候智能监控：在夜间红外和白天可见光监控中识别同一行人，实现全天候追踪。
• 多模态行人检索：从不同模态视频中检索同一行人，提升跨模态检索精度。
• 机器人视觉感知：帮助机器人在不同光照条件下识别特定行人，增强环境适应能力。