噪声优化神经网络

鲁棒性能双提升

通过学习每个神经元注入高斯噪声的最优分布,在保持任务性能的同时显著增强神经网络对对抗攻击的鲁棒性。

晓丽 · Zeliang, Zhang · 黄魁华 · Jinyang, Jiang · Peng, Yijie

IEEE Transactions on Automation Science and Engineering 2024

技术优势

不会牺牲性能

通过同时优化噪声分布和模型参数,在多个网络结构上显著提升鲁棒性,且任务性能不受影响。

训练成本可忽略

计算路径随机梯度估计仅需相对于每个神经元噪声标准差进行,训练中优化噪声分布几乎不增加额外计算量。

白盒攻击也扛得住

在多个流行的网络结构上,该方法在黑盒和白盒攻击下均能实现显著的鲁棒性提升。

可解释性更好

在两个自动化任务上,与传统神经网络相比,该技术在性能、鲁棒性和视觉可解释性方面均表现更优。

应用场景