双蒸馏分类器扩展框架

旧关系防遗忘

通过双重知识蒸馏与动态加权，在持续学习中稳定保留旧关系知识。

Aonan, Mao · 75858255 · Liting, Jiang · Song, Shuangyong · Li, Yanbing · 黄浩 · Slamu, Wushour

Journal of Supercomputing 2025

技术优势

无需缓冲区回放

通过分类器扩展和双重知识蒸馏在模型内部保留旧知识，摆脱对记忆缓冲区的依赖。

少在简单关系上过拟合

按关系难度加权分类损失，让模型优先学习困难关系，降低对简单样本的重复拟合。

蒸馏更稳当

引入遗忘权重和自适应损失动态平衡蒸馏损失，避免新旧任务学习相互干扰。

应用场景

• 持续学习模型：在持续学习模型里用双重蒸馏和动态加权稳定保留旧关系。
• 知识图谱构建：在知识图谱构建中增量学习新关系且不遗忘旧关系。
• 对话系统关系抽取：让对话系统关系抽取在无缓冲区回放下保持旧关系性能。
• 智能客服知识更新：更新智能客服知识时避免遗忘旧关系并缓解过拟合。