参数高效抗遗忘
用共享超网络封装任务信息，减少干扰并强化模型对抗灾难性遗忘的能力。
Ding, Fengqian · Chen, Xu · Liu, Han · 周斌 · 周洪超
Information Sciences 2024
超网络高效封装任务特定信息，显著减少任务间干扰，强化模型对抗灾难性遗忘。
采用参数高效微调技术，只需精确调整少量参数，不必更新预训练模型全部权重。
共享超网络同时编码任务共享知识和任务特定变异，促进预训练模型在不同任务间知识共享。