跨模态全局对齐
该模型通过从全局视角进行多模态对比学习，利用标签信息构建更具区分度的多模态嵌入空间，在情感分析和幽默检测任务上优于现有最佳基线方法。
Mai, Sijie · Zeng, Ying · 胡海峰
Information Fusion 2023
通过排列模态输入顺序和采样多种融合网络来定义正样本，使多模态表示对模态顺序和融合网络结构具有不变性，从而捕获高层语义信息。
通过混合具有最大标签相似度的不同对象的多模态表示来生成正样本，使模型学习更具判别力的特征。
通过随机替换不同相似对象的单模态表示来构造负样本，引导模型捕获模态间的高层共现和对应关系。