跨模态特征对齐网络

跨模态知识迁移

利用丰富的振动加速度数据,通过深度对抗神经网络实现跨模态特征对齐,增强基于动态视觉的故障诊断模型性能。

李响 · Shupeng, Yu · 雷亚国 · Li, Naipeng · 杨彬

IEEE/CAA Journal of Automatica Sinica 2024

技术优势

能识别没见过的故障

通过跨模态特征对齐将振动数据中丰富的故障知识迁移到动态视觉模型,使其能泛化到训练中未出现的故障模式。

相机位置变了也不怕

事件擦除方法通过在训练时随机擦除事件流中的部分区域,迫使模型学习对相机位置和工况变化不敏感的特征。

不用接触式传感器

事件相机提供了一种非接触式的振动感知方式,避免了在机器上安装加速度计的不便,适用于难以布线的工业场景。

应用场景