微调不丢鲁棒性
通过正则化微调过程，保留预训练模型对上下文的感知能力，同时提升部署精度。
Mao, Xiaofeng · Chen, Yuefeng · Jia, Xiaojun · Zhang, Rong · Xue, Hui · 李朝
International Journal of Computer Vision 2023
通过正则化项约束微调后的模型保持对上下文信息的感知，从而继承预训练模型的分布外泛化能力。
在提升九个下游任务精度的同时，保持对五种分布偏移的鲁棒性，无需在性能和泛化之间妥协。
在DomainBed领域泛化基准上取得78.5%的平均精度，超过以往领域泛化方法。