语义约束时空异构图

对象关系推理更强

用对象共现和语义一致性约束时空边，更准确地还原视频中对象间的时空关系。

王若梅 · Yuanmao, Luo · Zhang, Fuwei · Liu, Mingyang · Luo, Xiaonan

IEEE Transactions on Multimedia 2024

技术优势

推理对象关系更强

语义一致性感知策略强化了对象间的时空交互表征，直接提升模型的对象关系推理能力。

不依赖先验知识

仅使用剧情摘要和对象位置作为启发式语义先验，无需人工标注或额外知识库。

各组件均有效

大量消融实验验证了网络中每个组件的有效性和超参数设置的合理性。

应用场景

• 视频问答：用语义约束时空异构图提升视频问答中对象关系推理的准确性。
• 多模态理解：融合视觉与语义先验，增强视频中多模态信息的时空关联理解。
• 时空推理：通过语义一致性约束时空边，强化对象间的时空推理能力。