跨模态融合稳健高效
通过正交分解与最优传输理论对齐视觉-空间与语义特征,显著提升开放词汇语义分割任务在视觉退化条件下的稳健性与推理效率。
Mingzhu, Ping · Jinpeng, Ye · Sijia, Cui · Zhang, Jianzhang · 胡志刚 · Zhou, Di · Pengpeng, Xu · Tian, Yan
Neurocomputing 2026
显式分离模态特有信息并跨模态对齐,在模糊、遮挡等退化条件下仍保持准确分割。
将模态特征分解为双视角向量,避免冗余计算,在不牺牲性能的前提下降低融合开销。
利用语义关系更新机制在高维特征中挖掘潜在未见类别的嵌入,缓解开集推理与训练分布差异。