多尺度语义对齐网络

检索精度新标杆

该网络通过多尺度特征增强与跨模态语义分层感知，显著缩小遥感图像与文本的语义鸿沟，实现更精准的跨模态检索。

廖赟 · Zongxiao, Hu · Fangwei, Jin · 刘俊晖 · Nan, Chen · Jiayi, Lv · Qing, Duan

Remote Sensing 2025

技术优势

检索更准

引入多尺度语义感知机制，通过分层感知跨模态语义，有效缩小语义鸿沟，在三个基准数据集上均取得最优检索精度。

关注全局结构

通过窗口-区域-全局渐进注意力，增强多尺度图像特征的表达能力，改善对局部细节和全局结构的表示。

文本对齐更灵

图像引导的文本注意力根据视觉上下文动态调整文本注意力权重，使跨模态对齐更灵活准确。

应用场景

• 遥感图像检索：替代传统基于手工特征或单模态的检索方案，直接输入查询图像即可快速匹配相关文本描述。
• 跨模态匹配：将遥感视觉特征与语言语义在共享空间精确对齐，用于跨模态搜索与标注辅助。
• 智能信息提取：利用多模态语义理解自动从遥感图像中提取关键信息并关联文本，减少人工解译工作量。
• 多模态理解：通过分层语义交互增强视觉与文本的深层关联建模，支撑更复杂的多模态推理任务。