时变关系感知Transformer

动态关系图生成更准

借助跨模态文本嵌入差异作为监督，这个Transformer能够显式建模视频帧间关系随时间的演化，从而生成更贴合的动态场景图。

Jingyi, Wang · Huang, Jinfa · Zhang, Can · 邓志东

2023

参数信息

性能提升

2.1 %

性能提升

2.6 %

技术优势

关系演化建模更准

利用跨模态文本嵌入差异作为监督信号，显式引导时变关系的学习。

显著超越现有方法

TR2在Action Genome数据集上，两种设置下分别比现有最优方法提升2.1%和2.6%。

应用场景

• 场景理解：动态关系图帮助机器更准理解视频场景语义。
• 自主导航：增强环境感知，辅助自动驾驶车辆决策。
• 无人机环境感知：提升无人机对环境变化的动态理解。
• 机器人任务规划：支撑机器人基于动态场景关系进行任务规划。