零额外耗时防过拟合
一种利用训练历史中高质量对抗扰动来改善对抗样本质量、防止灾难性过拟合的新型快速对抗训练方法。
Jia, Xiaojun · Zhang, Yong · 韦星星 · 吴保元 · 马克 · Wang, Jue · 操晓春
IEEE Transactions on Pattern Analysis and Machine Intelligence 2024
利用历史训练中的高质量对抗扰动初始化当前对抗样本，在不改变训练流程和计算量的前提下提升对抗样本质量，从而避免灾难性过拟合。
在四个数据集上评估，所提方法在多种攻击下均取得优于现有快速对抗训练方法的鲁棒性。
理论分析表明，先验制导正则项通过平滑损失函数提升对抗扰动质量，解释了方法为何有效。
方法不依赖特定网络结构，通过历史模型权重集成即可增强鲁棒性，可方便地集成到现有对抗训练框架中。