软提示适配模块

0.28%参数达全量微调

一种为多语言预训练模型设计的轻量适配模块，仅调节极少量参数即可实现对新语言的高效零样本迁移。

Po-Heng, Chen · Chen, Yunnung

2024

参数信息

参数比例

0.28 %

覆盖语言数

20

技术优势

参数极少

参数少意味着适配新语言时计算和存储开销小，不需要调整全部模型参数。

胜过持续训练

在文本分类基准上，软提示适配的准确率优于持续训练基线，而且调参数量少得多。

覆盖多种新语

实验中的基准包含20种低资源语言，证明该适配方法不是只对一两种语言有效。

应用场景

• 低资源语言NLP：为低资源语言快速获得可用的NLP模型，无需大量标注数据。
• 多语言模型适配：将现有多语言模型扩展到新语言，避免全量微调的高昂成本。
• 跨语言迁移：把源语言任务上学到的能力迁移到目标语言，无需目标语言训练数据。
• 语言扩展：低成本地将模型支持的语言列表扩大，适应新市场或新语种。