抗遗忘，记忆更高效
在重放原始样本之外，同时保留样本间的相关性表示，并通过对比学习最大化过去与当前模型相关性的互信息，使在线持续学习在有限内存下更稳定地积累知识。
Da, Yu · 张茗奕 · 李满天 · 查富生 · 张俊格 · 孙立宁 · 黄凯奇
IEEE Transactions on Circuits and Systems for Video Technology 2023
除了原始样本，还存储对应的表示，并利用过去与当前模型的相关性构建对比目标，最大化互信息下界，从而捕获高阶依赖关系。
新的记忆更新策略同时鼓励样本的平衡性和多样性，在有限槽位下减少冗余，保留更具代表性的样本以供后续重放。