预训练持续学习
通过特征级与决策级双层级知识积累,统一分类头特征空间并自适应集成专家知识,显著缓解预训练模型持续学习中的灾难性遗忘。
Songze, Li · 苏统华 · 张煦尧 · Qixing, Xu · Wang, Zhongjie
Pattern Recognition 2026
通过分布采样将各任务的分类头对齐到统一特征空间,消除不同任务间决策边界的偏移,从而减少遗忘。
引入自适应专家集成机制,在不同特征子空间中动态融合知识,增强模型的表征能力和跨任务泛化性。