超网络提示预训练模型

新域性能零衰减

通过超网络生成域专属提示，同时保持模型泛化并促进跨域知识迁移。

Jiang, Gangwei · Caigao, Jiang · Xue, Siqiao · Zhang, James · 周俊 · 连德富 · Wei, Ying

2023

参数信息

提升幅度

3.57 %

提升幅度

3.4 %

技术优势

新域性能不降

通过一致性损失最大程度保留预训练模型对新领域的泛化能力，使微调时不会牺牲未见过领域的表现。

跨域知识迁移

超网络生成的提示在微调时淡化了域身份，从而促进不同领域之间的知识迁移。

性能提升显著

在两个真实世界数据集（含领域偏移和时间偏移）上分别取得3.57%和3.4%的提升。

应用场景

• 领域自适应预训练：用于在多个领域持续预训练模型，使模型在适应新领域时不遗忘旧领域。
• 多任务学习：通过域专属提示为不同领域任务学习兼容表示，从而在一个模型中支持多领域任务。
• 迁移学习：超网络提示促进跨域知识迁移，使模型能将一个领域学到的知识应用到其他领域。
• 个性化模型微调：针对特定领域生成专属提示，实现低成本的个性化模型微调，无需改变整个网络参数。