语言驱动视觉共识模型

泛化未见类

以类别词嵌入为锚，通过路由注意力实现紧凑视觉空间，提升零样本语义分割的泛化性能与掩码连贯性。

Zicheng, Zhang · Ke, Wei · Zhu, Yi · 梁小丹 · Liu, Jianzhuang · Ye, Qixiang · Zhang, Tong

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

掩码更连贯

通过路由注意力找到视觉共识，增强同一物体内的语义一致性，从而减少分割掩码中的碎片化。

泛化未见类

以类别词嵌入为锚引导视觉特征对齐，避免模型在已见类别上过拟合，显著提升对未见过类别的分割能力。

应用场景

• 零样本语义分割：无需针对新类目重新训练，即可分割从未见过的物体类别。
• 机器人视觉感知：让机器人在陌生环境中识别并分割未见过的新物体，提升自主操作能力。
• 边缘设备视觉分析：无需为每个新场景重新标注和训练模型，即可在边缘设备上快速扩展类别。
• 视觉检测系统：在产线上无需收集大量缺陷样本，即可分割出从未见过的缺陷类型。