零样本视觉解码网络

统一多任务检索

在共享表征空间中融合脑电与语义对齐,单个网络通吃视觉检索、分类与重建,摆脱单一任务模型限制。

Xu, Chunjing · Song, Yonghao · 张浩川 · Wang, Qiong · Zheng, Qingqing

Neural Networks 2026

技术优势

一个网络做三件事

在共享表征空间内统一学习,摆脱单一任务框架,一个模型同时处理视觉检索、分类和重建。

图文对齐增强表征

利用粗粒度和细粒度文本与图像模态对齐,获得更详细、更稳健的神经-视觉与语义表征。

双重条件指导重建

表征同时作为视觉和语义条件输入预训练扩散模型,从两个角度引导视觉重建。

零样本解码能力

无需针对新受试者或新类别额外训练,模型可直接泛化到未见过数据。

应用场景