低资源微调防过拟合
在预训练语言模型隐藏层间插入随机自编码器，微调时生成多视图压缩表示，推理时移除且不增加参数或计算量。
Liu, Linlin · Xingxuan, Li · Megh, Thakkar · Li, Xin · Joty, Shafiq Rayhan · Si, Luo · Bing, Lidong
2023
在微调过程中对隐藏表示进行压缩，减少模型对训练数据的记忆，从而缓解过拟合。
自编码器只在训练时存在，推理前被移除，因此不增加额外参数或计算成本。
在多种序列级和词符级低资源 NLP 任务上均表现出性能提升。