空间语义分割模型

跨模态融合稳健高效

通过正交分解与最优传输理论对齐视觉-空间与语义特征,显著提升开放词汇语义分割任务在视觉退化条件下的稳健性与推理效率。

Mingzhu, Ping · Jinpeng, Ye · Sijia, Cui · Zhang, Jianzhang · 胡志刚 · Zhou, Di · Pengpeng, Xu · Tian, Yan

Neurocomputing 2026

参数信息

平均交并比提升幅度
2.6–3.0 %

技术优势

抗视觉退化

显式分离模态特有信息并跨模态对齐,在模糊、遮挡等退化条件下仍保持准确分割。

融合更高效

将模态特征分解为双视角向量,避免冗余计算,在不牺牲性能的前提下降低融合开销。

发现未见类别语义

利用语义关系更新机制在高维特征中挖掘潜在未见类别的嵌入,缓解开集推理与训练分布差异。

应用场景