双向知识交互分割网络

双流交互精准分割

以双向交互方式融合图像与文本知识, 实现对目标对象的自适应定位与完整分割, 性能超越现有方法。

Haixin, Ding · 张声传 · 吴穹 · Songlin, Yu · Hu, Jie · 曹刘娟 · 纪荣嵘

IEEE Transactions on Multimedia 2023

技术优势

定位更准

双向交互机制使网络能适应图像中目标的具体知识，从而更准确地定位外观独特的目标对象。

分割更完整

通过知识应用模块突出最相关的视觉特征，预测更精确的分割掩码，减少欠分割。

应用场景

• 视觉语言导航：用自然语言指令在场景中精准定位并分割导航目标区域。
• 机器人视觉感知：让机器人根据语言描述理解并分割出操作对象，提升交互能力。
• 多模态内容理解：为图像中特定区域提供语义标签，辅助多模态信息关联与内容解析。