星形图交互表示

线性复杂度

通过模态私有表示与枢纽表示的星形连接，有效捕获长程依赖，并在噪声干扰下保持稳健性能。

Zhiwei, Ding · Guilin, Lan · Song, Yanzhi · 杨周旺

IEEE Transactions on Multimedia 2023

技术优势

计算效率高

模态交互次数随模态数量线性增长，而非以往成对交互的平方增长，处理多模态数据时更高效。

性能领先

在五个基准数据集上取得最优性能，全面超越现有方法。

应用场景

• 多模态数据分析：用于高效融合多模态数据的通用表示，支持跨模态检索、情感识别等下游任务。
• 自动驾驶多模态融合：融合摄像头、激光雷达等传感器数据时能保持线性复杂度，并抵抗传感器噪声。
• 多传感器融合感知：在不同模态受到噪声干扰时仍能可靠融合，适合复杂环境下的感知任务。
• 脑机接口信号处理：处理脑电、肌电等多模态生理信号时抗噪且高效，可增强脑机接口系统的稳定性。