缺失视觉模态图变换器

通过模态补全与变换器融合，在视觉信息缺失时仍能可靠对齐实体。

Yang, Kai · Wenqian, Zhao · Junyan, Guo · 孙小兵

Pattern Recognition 2026

技术优势

缺失也能补

模态补全分两步：先在图上基于Dirichlet能量最小化做局部平滑插值，再用KNN增强全局补全，过滤不可靠连接。

融合更细

利用transformer实现实体级的细粒度模态融合与对齐，而不是简单拼接特征。

应用场景

• 多模态实体对齐：直接处理图像缺失的实体对齐，避免因模态不全导致匹配失败。
• 知识图谱融合：在融合知识图谱时补全缺失的视觉特征，提升跨图实体匹配质量。
• 图神经网络：引入图扩散与KNN增强，改善缺失模态下的图表示学习。