多样本高保留
区别于单一记忆缓冲的持续学习方法,通过快慢双缓冲区分别管理新旧样本,并利用信息论优化策略保留最具信息量的数据,在保持记忆效率的同时提升学习性能。
Wu, Runqing · KaiHui, Huang · HanYi, Zhang · 刘启和 · Guo, Jinyu · JingSong, Deng · Ye, Fei
Knowledge-Based Systems 2025
快缓冲采用高效存储采样暂存新样本,慢缓冲保留关键信息样本,避免在单一缓冲中互相挤压,使新旧知识得以分开管理。
引入新的信息论优化策略,从互信息角度选择样本,使慢缓冲中保留的样本既多样又高信息量,更有效地代表过去任务分布。
提出平衡样本选择机制,自动识别并移除冗余样本,为后续任务的新数据释放存储空间,从而在不牺牲性能的前提下扩展到更多任务。
大量连续学习实验表明,ITDMS 在维持固定大小记忆缓冲的同时有效提升学习性能,说明该方法在资源受限下仍能保持竞争力。