ISMSFuse多模态识别算法

边缘端多模态融合

ISMSFuse将轻量级CNN与低计算量SVM结合，在边缘设备上用图像与光谱融合识别作物病害，以低成本实现高精度。

张竞成 · Dong, Shen · Chen, Dongmei · Ming, Dazhou · 任东 · 刁智华

Computers and Electronics in Agriculture 2024

参数信息

识别准确率

98.14 %

技术优势

多模态融合提升精度

相比仅用图像，加入光谱信息后识别准确率提高到 98.14%。

光谱特征最为关键

SHAP 分析表明，加入的光谱特征成为影响模型输出的最重要因素。

边缘设备可运行

算法部署在树莓派上测试了边缘计算场景下的可行性，无需昂贵硬件即可现场识别。

应用场景

• 作物病害识别：用于田间水稻白叶枯病等叶部病害的快速识别，替代人工目测。
• 农业物联网：部署在树莓派等边缘设备上，实现低成本的农业物联网病害监测。