遥感前景实体检索框架

即插即用多任务联合

通过语义引导空间注意力与自适应多尺度加权，同时输出分割掩码，为遥感图像文本检索提供更细粒度的前景实体对齐。

Zhu, Zicong · Jian, Kang · 刁文辉 · Feng, Yingchao · Li, Junxi · 倪锦根

IEEE Transactions on Geoscience and Remote Sensing 2024

参数信息

mR 提升

7 mR

技术优势

背景噪声滤除

通过背景重建分支和语义分割分支的联合学习，简洁地过滤背景噪声并显著精炼前景特征。

多尺度前景增强

AMW 模块对编码器输出的多尺度特征图进行加权，有效提升不同尺度前景目标的学习效率。

性能显著提升

与主流方法相比，SVP 和基于 CLIP 的方法在 RSITMD 上提高了约 7 mR，证实了框架的有效性。

应用场景

• 多模态遥感检索：提升遥感图像与文本检索的细粒度精度，支持跨模态应用的落地。
• 遥感图像理解：通过前景分割增强图像内容解析，辅助复杂场景下的语义理解。
• 视觉语言模型：可作为即插即用组件提升视觉语言模型的跨模态对齐能力。
• 细粒度对齐：通过像素级语义引导实现前景实体的细粒度对齐，突破传统粗粒度限制。