细粒度语义行人感知融合模型

身份细节保住

通过双阶段渐进语义优化，在融合可见光与红外图像时保住行人身份所需的细粒度语义，让融合图真正能用于行人重识别这样的高精度任务。

Liu, Xiaowen · Hongtao, Huo · Cao, Haozhe · Wang, Renhua · 79642310 · Shan, Pang · 李静

Information Fusion 2026

技术优势

身份细节保得住

融合过程直接以行人身份特征为监督目标，通过特征级粗对齐和语义级精调两级优化，使融合结果保留细粒度语义，可直接用于行人重识别。

有身份标注数据可验证

构建了首个身份标注的融合验证数据集，可以直接量化融合结果对身份相关细粒度信息的保持程度，而不是靠主观视觉判断。

下游检测任务也更强

在目标检测任务上的验证表明融合结果同时保留了粗粒度和细粒度语义，表现优于现有最好方法。

应用场景

• 多模态感知融合：替代现有粗粒度融合模块，在融合阶段直接保留身份等细粒度语义，提升后续任务精度。
• 智能视频监控：为跨模态行人重识别提供融合图，使监控系统在昼夜红外条件下仍能准确识别身份。
• 机器人视觉导航：融合可见光与红外信息，保留场景中的行人等细粒度语义，帮助机器人在复杂光照下可靠感知环境。
• 辅助驾驶感知：在夜间或恶劣天气下融合可见光与红外，使驾驶辅助系统能清晰感知行人等关键目标。