双焦点零样本模型

视觉语义互聚焦

在映射式零样本学习框架中,通过视觉与语义两路的协同注意力机制,让知识从已知类到未知类的传递更加精准。

Jia, Zhen · 张彰 · Shan, Caifeng · 王亮 · 谭铁牛

Neurocomputing 2023

技术优势

双路注意力提升迁移

同时利用视觉注意力和语义注意力,让模型聚焦于图像显著区域和最具判别力的属性,使知识迁移更有效。

多分辨率视觉聚焦

视觉聚焦迁移模块采用多头自注意力网络,在不同分辨率的特征图上赋予显著区域更高权重,捕捉多尺度判别信息。

语义属性动态加权

语义聚焦迁移模块根据视觉表示生成语义权重,对判别力强的属性赋予更高权重,提升属性与视觉的匹配度。

应用场景