样本感知动态稀疏微调

低资源下提升40%

一种动态稀疏微调策略，通过样本感知选择性微调少量参数，在低资源序列标注任务中显著优于全量微调。

Sarathi das, Sarkar Snigdha · Ranran Haoran, Zhang · Shi, Peng · Yin, Wenpeng · Rui, Zhang

2023

参数信息

性能提升

40 %

任务数量

5

技术优势

性能提升最高40%

通过选择性微调一小部分参数，避免在低资源下过拟合，从而在多个序列标注任务上实现高达40%的绝对性能提升。

优先难样本

根据样本的回归程度动态调整稀疏模式，让难样本得到更多优化，从而提升整体泛化能力。

优于上下文学习

在极端低资源情况下，FISH-DIP 与上下文学习及其他参数高效微调方法相比表现相当或更好。

应用场景

• 低资源序列标注：在低资源场景下，用更少参数微调达到更高性能，降低标注成本。
• 命名实体识别：在低资源 NER 任务上，用动态稀疏微调替代全量微调，减少数据需求。
• 关系抽取：在样本稀疏的关系抽取中，优先学习难样本，提升模型泛化。
• 语义角色标注：在低资源语义角色标注上，动态微调避免过拟合，提升性能。
• 参数高效微调：作为参数高效微调新方法，在低资源下超越传统 PEFT 和上下文学习。