视听零样本跨模态网络

跨模态对齐更精准

通过自注意力与跨模态注意力协同建模，在单一模态内和模态间分别建立关联，并利用对比学习与余弦相似度损失缩小视听特征差距。

杨静 · Xiaoyong, Li · Wu, Yuankai · 陈玉玲 · Ruan, Xiaoli · 李澄江 · Qing, Hou

Information Fusion 2026

技术优势

单模态特征更充分

自注意力机制直接建模序列内部依赖，提取每个模态特有的判别信息。

零样本识别更可靠

在三个基准数据集上与11种最先进方法比较，证明了方法的有效性。

应用场景

• 视听零样本识别：对从未见过的音视频类别，无需标注样本即可识别。
• 多模态特征融合：同时利用声音和视觉信息，提升识别准确率。
• 零样本感知：让模型在开放环境中感知新类别，无需重新训练。
• 跨模态表征学习：学习统一的跨模态表征，支持视听语义对齐。