免改结构高效微调
不修改模型结构、不增加额外参数,仅更新对预测边界影响最大的参数子集,即可超越现有微调方法。
Anchun, Gui · Jinqiang, Ye · 肖寒
2023
方法只选择和更新重要参数,不引入任何额外参数或训练预算。
不需要改变原始模型结构,可以直接应用于现有预训练模型。
在GLUE基准上的大量实验表明,GamMa优于当前最先进的方法。