梯度激活映射掩蔽

免改结构高效微调

不修改模型结构、不增加额外参数,仅更新对预测边界影响最大的参数子集,即可超越现有微调方法。

Anchun, Gui · Jinqiang, Ye · 肖寒

2023

技术优势

不增加额外参数

方法只选择和更新重要参数,不引入任何额外参数或训练预算。

无需修改模型结构

不需要改变原始模型结构,可以直接应用于现有预训练模型。

超越现有方法

在GLUE基准上的大量实验表明,GamMa优于当前最先进的方法。

应用场景