多模态数据增强框架

通过掩码建模利用模态间相关性,在保持语义一致性的同时生成增强数据。

Mingyu, Wang · 晁国清 · Xi, Wang · 陈勇勇 · 谢锡炯 · 初佃辉

Knowledge-Based Systems 2025

技术优势

保持语义一致

在增强过程中通过利用模态间相关性重建掩码部分,确保增强后的图像-文本对在语义上与原始对保持一致。

可量化增强质量

提出新指标定量衡量增强数据的一致性和多样性,可用于筛选增强样本,保证保留数据的质量。

比现有方法更优

在三个真实数据集上的实验结果表明,所提方法优于传统单模态数据增强方法和其他竞争性的多模态数据增强方法。

应用场景