重要性优先场景图生成模型

主次分明

根据人类感知习惯，先呈现重要内容，再按需呈现次要内容。

王文彬 · 王瑞平 · Shiguang, Shan · Chen X.

International Journal of Computer Vision 2023

技术优势

主次分明

构建层次化实体树按空间尺度组织物体，大物体先被关注，从而以符合人类感知的顺序生成场景图。

无需额外标注

利用视觉显著性和空间尺度作为近似监督，训练关系排序模块，即使没有关键关系标注也能估计重要性。

服务下游任务

擅长挖掘图像特有的关系，对图像描述和跨模态检索等任务有重要作用。

应用场景

• 图像描述：提供重要关系优先的场景图，帮助生成更符合人类关注点的描述。
• 跨模态检索：利用重要性加权的场景图作为查询表示，提高图像-文本匹配精度。
• 视觉关系检测：在检测关系的同时评估其重要性，突出关键视觉关系。