多模态对齐网络

弱模态增强

针对低质量不平衡多模态数据,统一提升弱模态增强、跨模态融合与可解释性量化。

Fuyuan, Zhao · 曹现刚 · Duan, Yong · Xin, Yang · Zhang, Xinyuan · Xin, Zhang · Yubo, Zhang

Knowledge-Based Systems 2026

技术优势

弱模态不再拖后腿

条件WGAN生成与强模态分布对齐的增强样本,通过对抗训练缓解模态不平衡。

融合更聪明

Transformer通过双向跨模态注意力整合局部与全局特征,捕捉模态间交互,提升感知与表示能力。

贡献看得见

DeepSHAP模块量化各模态实际贡献,识别低质量不平衡,增强决策可解释性。

性能拿得出手

在三个公开数据集上超越现有最优方法,具备优越的性能、鲁棒性和可解释性。

应用场景