跨模态动态关联
该网络将视觉、音频和问题模态统一建模为异构图，克服现有模型忽视音视关联及整体编码无法捕获跨模态动态事件的局限，同时引入跨模态特征对齐模块弥合语义鸿沟。
Zhao, Yihan · Xi, Wei · Bai, Gairui · Liu, Xinhui · 赵季中
Knowledge-Based Systems 2024
构建异构多模态图，统一融合视觉、音频和问题，有效探索多种模态间的关联和互补性。
研究视觉和音频的局部时序交互，有效捕获跨模态和跨时序动态事件。
跨模态特征对齐模块作为桥梁，克服异构多模态数据之间的语义鸿沟，促进多模态数据分布收敛到共享特征空间。