多源多模态对齐网络

跨域精度提升近3%

通过跨模态与跨域的对比和对抗特征对齐，同时处理模态差异和域偏移，实现多源域到目标域的联合适应，超越了单一源域方法的性能上限。

Zhao, Sicheng · Jing, Jiang · Wenbo, Tang · Jiankun, Zhu · Hui, Chen · 徐鹏斐 · Schuller, Björn W. · 陶建华 · 姚鸿勋 · 丁贵广

Information Fusion 2025

参数信息

平均准确率提升（情感分析）

2.8 %

平均准确率提升（美学评估）

2.1 %

技术优势

同时对齐模态和域

通过对比和对抗学习在特征层和标签空间同时对抗模态差异和域偏移，得到域不变的多模态表征。

多源利用更充分

不再将多个源域简单合并，而是显式建模各源域间的差异，提升目标域泛化性能。

标签空间同样对齐

通过不确定性感知分类器逐步为无标注目标样本选择高置信伪标签，实现标签空间对齐。

应用场景

• 多模态情感分析：多源域数据下提升情感识别精度，无需逐域重新标注。
• 跨域迁移学习：处理多个源域与目标域间的分布差异，实现域不变特征。
• 文本图像对齐：显式对齐文本与图像模态，弥补跨模态语义鸿沟。