三模态同时交互
将张量融合模块嵌入预训练BERT,实现三种模态间的同步信息交换,突破双模态Transformer的局限。
Jingming, Hou · Omar, N. · Tiun, Sabrina · Saad, Saidah · 何倩
Neural Networks 2025
引入的张量交叉模态 Transformer 能同时处理三种模态,使目标模态与另外两个源模态直接进行信息交换,从而强化目标模态的表征。
将 TCF 模块嵌入 BERT 的多个 Transformer 层,让不同模态在多个层次上逐渐实现动态互补,避免单一层融合造成的信息损失。
在两个广泛使用的多模态情感分析数据集上,TF-BERT 在多数指标上优于近期最优的基线模型。