多模态融合网络

精度超90%

融合光学影像、SAR影像与建筑知识图谱，以多阶段门控机制提升建筑结构类型识别精度。

Yuhang, Zhou · 谭毅华 · 温奇 · Wang, Wei · Li, Lingling · Zhenxing, Li

IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2023

参数信息

总体精度

90.35 %

技术优势

融合三类信息

同时利用卫星光学影像、航空SAR影像和领域专家提供的建筑相关知识，克服单一数据源的局限性。

知识图谱增强

构建建筑相关知识图谱并用图注意力网络提取语义特征，缓解建筑相关知识获取困难的问题。

门控融合机制

提出多阶段门控融合机制，有效融合图像特征和语义特征，提升识别精度。

应用场景

• 建筑结构类型识别：为地震风险评估和应急决策提供高精度建筑结构信息。
• 遥感图像分析：自动处理光学和SAR遥感影像，减少人工目视解译工作量。
• 多模态融合分析：融合图像与知识图谱，提升复杂场景下的识别精度。