双分支场景图生成网络

头尾谓词性能均衡

该网络通过双分支架构分别学习头部和尾部谓词，并引入课程调度策略，在无偏场景图生成中实现头尾性能的均衡。

Chaofan, Zheng · 高联丽 · Lyu, Xinyu · Zeng, Pengpeng · Saddik, Abdulmotaleb El · 申恒涛

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

头尾性能同时保

通过粗粒度分支学习头部谓词的通用模式，细粒度分支预测尾部谓词，避免只偏一头。

两分支协同工作

课程调度策略（BCS）逐步协调双分支，让训练目标不发生冲突。

下游任务通用

在图像描述和句子到图检索两个下游任务上的实验验证了方法的泛化性，说明模型不是只在SGG指标上好看。

应用场景

• 视觉关系检测：直接检测图像中的主客体关系和谓词，改进场景图生成。
• 图像描述生成：利用场景图中的关系信息生成更准确的图像描述。
• 跨模态检索：用场景图的结构化表示提升文本到图像的检索准确率。
• 机器人场景理解：为机器人提供场景图中的关系信息，辅助复杂环境理解。