一致性约束RGB-T人群计数

该方法通过最大化RGB与热成像模态间的互信息来学习模态一致性，从而在跨模态人群计数中有效融合互补信息，提升计数性能，并对单模态缺失或严重受损的情况表现出较强的鲁棒性。

国强 · Pengcheng, Yuan · Xiangming, Huang · 叶阳东

Complex and Intelligent Systems 2024

参数信息

算法框架

C4-MIM

技术优势

统一编码缩小模态差异

通过共享参数的编码器提取不同模态特征，使RGB和热成像遵循相同的编码规则，从而缓解模态间的异质性差异。

互信息最大化挖掘一致性

将多模态表示的互补性形式化为互信息最大化正则项，在融合前最大程度地提取模态间一致性信息，提升特征表示。

单模态缺失仍能计数

方法对单一模态不可用或严重受损具有鲁棒性，可部署在部分传感器故障的场景中。

应用场景

• 智能视频监控：用于监控场景中人群数量自动统计与异常密度预警。
• 安防人群管理：为大型活动安保提供实时人流密度估计，辅助疏散决策。
• 无人机航拍分析：用于无人机航拍图像中地面人群计数，适应可见光与热成像融合。
• 机器人视觉感知：赋予机器人对人群密度感知能力，用于自主导航避让。