多层次视觉文本对齐Transformer

多模态情感分析SOTA

通过差分放大、多粒度融合和动态门控对齐，有效抑制图像噪声和文本干扰，实现多模态方面级情感分析的鲁棒对齐。

Hongxin, Li · Gao, Bin · Linlin, Li · Li, Yutong · 刘书田 · 刘正君

Expert Systems with Applications 2026

技术优势

自动降噪图像

动态多模态门根据文本置信度自适应调整文本与图像的贡献比例，降低噪声图像对模型的影响。

精准辨别相似词

通过结合GCN的差分Transformer，可以更准确地区分不同实体的情感极性，避免语义或形态相似的无关词干扰。

细粒度图文对齐

建立图像局部特征与文本token之间的细粒度对应关系，优化多粒度融合，增强模态间表示一致性。

应用场景

• 具身智能人机交互：用于机器人理解用户多模态情感，提升交互自然度和用户满意度。
• 社交物联网情感分析：可对社交媒体多模态帖子进行细粒度情感分析，用于舆情监控和精准营销。
• 脑机接口交互情感计算：为脑机接口中的情感计算提供高质量跨模态对齐模型，提升情感识别准确性。