区域引导变换器

一种用于遥感图像字幕生成的模型,通过区域特征和环境特征增强对主要目标的关注,并利用区域引导解码器改善图文匹配。

Zhao, Kai · 熊威

International Journal of Digital Earth 2024

技术优势

关注主要目标更准

引入区域特征,使模型能够直接聚焦图像中的关键对象,而不是分散在网格上。

背景信息不丢失

提出环境特征来补充区域特征提取时可能丢失的背景信息,使描述更完整。

图文匹配更有效

区域引导解码器通过加权交叉注意力机制增强模型对不同特征的感知,改善文本与图像特征的匹配。

生成过程有引导

在文本生成过程中引入区域引导信息,使生成的内容更符合图像中的主要对象。

应用场景