统一多模态分割网络

掩码语言统一处理

将视觉掩码与语言指代映射到同尺寸标记，用单个自注意力模型统一处理两种视频对象分割任务，并通过强化学习优化滤波器突出目标信息。

Sun, Mingjie · 肖继民 · Lim, Enggee · 赵才荣 · 赵耀

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

Ref-YoutubeVOS J F

52.8 %

YoutubeVOS JS

83.2 %

技术优势

一个模型两用

视觉掩码和语言指代被映射为同尺寸标记，由同一个自注意力模型处理，开发者和用户不再需要为两种模态维护两套方案。

强化学习筛目标

滤波器通过强化学习优化，能够突出目标信息并丢弃非目标或模糊信息，使分割更聚焦。

应用场景

• 视频对象分割：直接集成到视频分析流水线，省去单独处理掩码和语言的两套模型。
• 机器人视觉感知：让机器人用自然语言指令定位并分割目标，无需额外掩码输入。
• 多模态内容理解：统一表示视觉和语言标记，便于后续多模态推理和内容分析。
• 工业视觉检测：利用语言描述指定缺陷类型，在视频流中自动分割出缺陷区域。