双骨干持续学习框架

泛化与专用兼备

不同于统一冻结的预训练骨干网络，该框架同时配备通用与任务专用双骨干，并分别通过协作专家对齐与概率对齐进行优化，在持续学习场景下兼顾共享知识保留和新任务适应。

刘启和 · YongCheng, Zhong · Ye, Fei · Borş, Adrian G. · Sun, Jingling · Hu, Rongyao · 周世杰

Knowledge-Based Systems 2026

技术优势

骨干网络可随任务调整

与保持预训练骨干静态的传统方法不同，该框架同时优化通用和任务专用骨干，使其能捕获新任务知识并保留共享信息。

共享知识持续保留

协同专家对齐利用所有历史专家网络的反馈梯度信息来指导通用骨干的优化，从而保留跨任务的共享信息。

减轻有害知识迁移

基于概率的对齐策略优化任务专用骨干，在学习新任务的同时抑制不利的知识迁移效应。

应用场景

• 通用持续学习：为通用持续学习提供能同时保留共享知识和适应新任务的框架。
• 多任务模型：通过双骨干设计让模型同时掌握通用表示与任务专用表示，提升多任务表现。
• 灾难性遗忘缓解：利用历史专家反馈梯度优化通用骨干，保留共享知识以缓解灾难性遗忘。