多模态云分类 Transformer

图像与雷达特征深度融合

同时利用云的外观图像和内部结构信息,通过多模态交叉注意力机制实现更完整的云表征,从而提升云类型分类的准确性。

刘双 · Zeyu, Zang · 张重 · Hu, Shuzhen · 肖柏华

IEEE Transactions on Geoscience and Remote Sensing 2025

技术优势

多模态融合更完整

通过多模态交叉注意力充分融合视觉特征和雷达指示特征,获得更完整的云表征,提升分类准确率。

分类效果更优

在 CMD-Beijing 和 CMD-Gansu 两个数据集上的实验均表明 MMITrans 优于现有方法。

雷达观测有效表征

将毫米波云雷达观测转化为多个云相关指标,并设计 Indicator-Tokenization 进行有效分词,提取指示特征。

应用场景