同样本多知识
该算法通过存储并回放训练过程中的中间层表示，在相同回放样本数量下更有效地保留旧知识，缓解灾难性遗忘。
Da, Yu · 张茗奕 · 李满天 · 查富生 · 张俊格 · 孙立宁 · 黄凯奇
IEEE/CAA Journal of Automatica Sinica 2023
除原始样本外，还存储对应的 logits 和特征，利用多级表示回放，同等样本数量下提取更多过去知识。
通过构建额外约束模仿过去模型的预测，增强对旧知识的监督，防止新知识干扰。
在多个常用持续学习数据集上的实验表明，该方法在不同大小的情景记忆中均一致优于现有方法。