运动感知融合网络

遮挡行人识别

从单张静态图像中提取运动信息，提升遮挡场景下行人再识别的准确率。

Hongye, Liu · 陈锡爱

Applied Sciences (Switzerland) 2024

参数信息

平均精度均值提升

1.5 %

首中准确率提升

1.2 %

平均精度均值提升

0.2 %

技术优势

静态图像也能提取运动

通过运动一致性任务引导运动感知 Transformer，从单张图像中学习人体部位的运动表示，无需视频帧序列。

遮挡下性能显著提升

在 Occluded-REID 数据集上，mAP 和 rank-1 准确率分别比现有最佳方法提升 1.5% 和 1.2%，运动信息有效补偿了被遮挡的部位特征。

视频 ReID 同样受益

在视频数据集 MARS 上，mAP 和 rank-1 准确率分别提升 0.2% 和 0.1%，表明运动感知融合对时序输入也有正向作用。

应用场景

• 智能视频监控：在遮挡频繁的监控画面中保持行人检索准确率，减少漏报。
• 多模态行人识别：为仅有的静态图像补充运动线索，提升跨模态匹配的鲁棒性。
• 具身智能感知：让机器人对部分被遮挡的行人仍能保持稳定识别，支撑交互决策。
• 可穿戴设备行人识别：在穿戴设备拍摄的有限视角图像中，利用运动先验增强身份判别。
• 物联网安防：在边缘节点上对遮挡行人做实时再识别，减少云端传输和隐私风险。