情境化关系预测模型

自监督群体表征

通过显式建模个体关系与场景语义，在无需标注的情况下学习稳健的群体活动表征。

周琬婷 · Kong, Longteng · Yushan, Han · 钦杰 · Sun, Zhenan

IEEE Transactions on Multimedia 2023

技术优势

显式建模时空关系

通过预测未来的时空关系来描述个体关系的时序演变和场景语义，而不依赖标签。

无需标签数据

整个训练过程采用自监督策略，不依赖人工标注的标签。

应用场景

• 群体行为分析：直接使用预训练表征分析群体协作模式，无需额外标注。
• 自监督视频理解：作为自监督骨干网络，提升视频理解的通用性和数据效率。
• 智能监控：在监控视频中识别异常群体行为，无需依赖标签数据。
• 机器人协作感知：帮助机器人理解多智能体协作中的时空上下文，提升协作感知能力。
• 具身智能表征学习：为具身智能体提供无需标签的群体活动表征，增强对动态环境的理解。