多模态知识蒸馏网络

多源遥感数据互补融合

该网络通过双分支CNN与编码器-解码器结构融合高光谱与LiDAR或SAR数据,并利用知识蒸馏提升单模态分类性能,显著缩小单模态与多模态方法间的差距。

Xu, Guozheng · 姜雪 · 周月 · 李树涛 · 刘兴钊 · Lin, Peiwen

IEEE Transactions on Geoscience and Remote Sensing 2024

技术优势

单模态也能用

通过跨模型知识蒸馏,将多模态教师网络的知识迁移到单模态学生网络,显著提升单模态分类性能,使仅拥有单一传感器数据的用户也能获得接近多模态的精度。

融合更有效

设计模型内知识蒸馏模块,以最终融合信息引导各模态编码器的学习,使多模态融合更加有效,在Houston2013和Berlin数据集上均超越现有最优方法。

应用场景