嫁接-再组装动态场景图生成框架

解耦时空上下文

通过分阶段嫁接静态场景图生成与时间依赖建模，实现时空信息的显式解耦，在动态场景图生成任务上达到当前最优。

Jiafeng, Liang · Wang, Yuxin · Zekun, Wang · Ming, Liu · 付瑞吉 · Wang, Zhongyuan · 秦兵

2023

技术优势

时空信息不再纠缠

先嫁接静态场景图生成模型得到帧内关系，再用时间依赖模型建模帧间关系，显式分离两者的信息。

重装配阶段是关键

实验分析表明，将静态关系重新组装成动态场景图的阶段对框架的成功至关重要。

性能达到最优

在 Action Genome 数据集上达到 state-of-the-art 性能，证明解耦策略有效。

应用场景

• 具身智能场景理解：为具身智能体提供动态场景图，理解视频中对象关系的时序变化。
• 机器人环境感知：让机器人从视频流中感知对象间动态交互，支持行为预测与规划。
• 无人机视频分析：分析无人机拍摄视频中的动态场景图，用于监测与事件理解。
• 物联网视频监控：在监控视频中生成动态场景图，辅助异常检测与实时预警。