解开翻译网络

该网络通过解开模态共有与特有信息并统一分布，减少冗余，为多模态融合提供更有效的表示。

Zeng, Ying · 颜文俊 · Mai, Sijie · 胡海峰

Information Fusion 2024

技术优势

模态分布对齐

通过两阶段翻译和分布匹配，将各模态的特征映射到统一分布，减轻融合负担。

冗余信息减少

松弛重构施加更宽松的约束，不强制保留冗余信息，同时探索样本间关系，提高特征有效性。

应用场景

• 多模态情感分析：为该任务提供更有效的联合表示，提升情感识别精度。
• 多模态人机交互：通过更好地融合多模态信息，增强交互系统的情感理解能力。
• 多模态表示学习：学习到分布统一且低冗余的跨模态特征表示。
• 情感计算：改进情感特征的提取与融合，支撑情感计算应用。
• 多模态数据融合：提供消除分布差异和冗余的融合机制，简化融合过程。