多模态融合重建算法

融合优先于重建

先融合多模态特征再重建,消除跨模态映射歧义,提升工业异常检测可靠性。

Zhi, Li · Hanyu, Wang · Qiyu, Chen · 沈飞 · 张正涛

Information Fusion 2027

参数信息

图像级AUROC
98.3 %
图像级AUROC
92.6 %

技术优势

消除映射歧义

通过跨模态一致性约束,从融合表示重建原始模态特征时能够保持对应关系,避免一对多映射。

误差更小

双向跨模态注意力机制通过通道对齐和动态空间先验,缓解投影偏差,提升特征互补性。

性能大幅超越

在两个多模态基准上均取得最佳结果,相对先前方法提升2.9%和4.1%。

特征融合保结构

可学习的像素级门控融合策略保持多模态结构一致性,优化局部特征组合。

应用场景