双层级知识集成模型

预训练持续学习

通过特征级与决策级双层级知识积累,统一分类头特征空间并自适应集成专家知识,显著缓解预训练模型持续学习中的灾难性遗忘。

Songze, Li · 苏统华 · 张煦尧 · Qixing, Xu · Wang, Zhongjie

Pattern Recognition 2026

技术优势

分类头对齐

通过分布采样将各任务的分类头对齐到统一特征空间,消除不同任务间决策边界的偏移,从而减少遗忘。

自适应专家集成

引入自适应专家集成机制,在不同特征子空间中动态融合知识,增强模型的表征能力和跨任务泛化性。

应用场景