特殊标记提示
参数仅万分之几
一种仅需更新极少量特殊标记提示即可实现与全参数微调相当性能的轻量微调方法。
Yan, Yaoyao · Yu, Hui · 王达 · 叶靖 · 刘方爱 · Xu, Weizhi
Expert Systems with Applications 2025
参数信息
- 参数更新比例（BERT-base）
- 0.009 %
- 参数更新比例上限（BERT-base）
- 0.011 %
- 参数更新比例（RoBERTa-base）
- 0.011 %
- 参数更新比例上限（RoBERTa-base）
- 0.015 %
技术优势
参数更新极少
仅需更新0.009%至0.011%的参数，即可在BERT-base上达到全参数微调的性能。
避免灾难性遗忘
冻结语言模型主体参数，只调整特殊标记提示，从而保留预训练阶段获得的知识。
性能与全微调相当
在GLUE基准上，以极小的参数更新比例取得与全参数微调相当的结果，说明该方法在性能上没有明显损失。
应用场景
- 智能语音助手：仅需少量任务数据即可微调出高精度语音助手模型，无需昂贵GPU集群。
- 机器人指令理解：用极少参数微调即可让机器人快速适应新指令，避免遗忘已有技能。
- 多语言文本分类：在多种语言文本分类任务上以极低参数开销取得高性能，便于多语言部署。