未见类型零样本识别
首次将文本与图像模态融合引入零样本实体分类，利用预训练模型捕获细粒度多模态语义，与标签语义桥接，显著提升未见实体类型的识别能力。
Zhou, Baohang · 张英 · 宋珂慧 · Sui, Xuhui · 75969547 · 袁晓洁
Neural Networks 2025
通过桥接多模态数据与标签的语义关联，模型在无需额外训练的情况下识别未在训练集中出现的实体类型。
利用预训练的 BERT 和 ViT 提取文本和视觉特征，并通过融合方式捕获细粒度语义，弥补单一模态的信息缺失。
实验结果表明该模型性能超越以往的零样本命名实体分类模型，验证了多模态信息的有效性。