潜在扩散分割网络

一次性训练即通用

面向开放词汇分割的通用框架，通过双潜在扩散过程深度融合文本与图像，实现对已知与未知类别的高精度统一分割。

Zheng, Hongtao · Yifei, Ding · Wang, Zilong · Huang, Xinyan

Information Fusion 2024

技术优势

一次训练，多任务通用

只需在全景数据集上训练一次，即可在所有开放词汇分割任务上推断，无需为每个任务重新训练或微调。

已知类别同样领先

与传统全监督框架相比，SegLD在已知类别上的分割性能也显著占优，克服了开放词汇方法在已见类别上的常见短板。

文本图像深度融合

采用两个并行的潜在扩散过程深度融合文本与图像信息，并按尺度聚合多尺度特征，提升跨模态表示质量。

应用场景

• 开放词汇语义分割：无需为每个新类别标注数据即可分割，直接用于开放世界的语义理解。
• 自动驾驶场景感知：在Cityscapes上领先，可识别道路场景中未标注的罕见物体，提高驾驶安全性。
• 多模态图像理解：通过文本查询与图像特征深度融合，实现细粒度的跨模态推理。
• 智能监控与安防：零样本识别监控中未定义的新目标，适应动态安防场景。