多模态对比融合模型

脑出环图像分类

用脑信号与深度网络联合学习图像表示，建模后无需人参与即可提升下游分类器的泛化能力。

Quan, Shilan · Yan, Jianpu · 郭开泰 · 郑阳 · 董明皓 · 梁继民

Information Fusion 2024

技术优势

无需实时脑信号

训练完成后，模型仅利用深度网络特征即可运行，在推理阶段完全脱离人脑，可应用于长时间、高强度任务。

跨模态也能涨点

在仅有图像特征的单模态下游任务上，融合模型学到的表征也能提升分类器泛化能力。

融合两种信号

通过多模态监督对比学习联合优化脑反应和深度网络表征，使两者在特征空间中相互增强。

应用场景

• 脑机融合图像分类：融合脑信号与视觉特征，提升图像分类器在复杂场景下的泛化能力。
• 脑机接口图像识别：将脑反应与深度特征对齐，改进脑机接口中视觉刺激识别。
• 机器人视觉：提供更鲁棒的图像特征表示，辅助机器人在动态环境下的视觉理解。
• 神经网络表征学习：利用脑信号监督对比学习，学到更泛化的深度神经网络表征。