通过线性模式连通性保持旧任务知识,结合区间交叉训练巩固记忆,有效缓解灾难性遗忘。
Qidong, Chen · 孙俊 · Palade, Vasile · Zihao, Yu
Knowledge-Based Systems 2023
利用多任务学习模型与持续学习模型之间的线性模式连通性,在记忆保持阶段尽可能保留旧任务知识。
只需以最后一个任务模型为起点微调,再结合少量存储样本进行区间交叉训练,无需复杂修改。