跨模态情感对齐
通过矢量量化与序列融合机制，将异步非语言线索注入预训练语言模型，实现更细粒度的多模态情感分析。
Cangzhi, Zheng · 彭俊杰 · Wang, Lan · Li'an, Zhu · Jiatao, Guo · 蔡则苏
Expert Systems with Applications 2024
应用矢量量化到非语言模态，缩小与文本的词级粒度差异，使模态间信息更平衡。
序列融合机制将未对齐的帧级非语言特征整合进预训练语言模型，捕捉字里行间的异步情感线索。
在三个基准数据集上显著优于现有基线，验证了方法的泛化能力。