视觉语义互聚焦
在映射式零样本学习框架中,通过视觉与语义两路的协同注意力机制,让知识从已知类到未知类的传递更加精准。
Jia, Zhen · 张彰 · Shan, Caifeng · 王亮 · 谭铁牛
Neurocomputing 2023
同时利用视觉注意力和语义注意力,让模型聚焦于图像显著区域和最具判别力的属性,使知识迁移更有效。
视觉聚焦迁移模块采用多头自注意力网络,在不同分辨率的特征图上赋予显著区域更高权重,捕捉多尺度判别信息。
语义聚焦迁移模块根据视觉表示生成语义权重,对判别力强的属性赋予更高权重,提升属性与视觉的匹配度。