信息论双记忆系统

多样本高保留

区别于单一记忆缓冲的持续学习方法,通过快慢双缓冲区分别管理新旧样本,并利用信息论优化策略保留最具信息量的数据,在保持记忆效率的同时提升学习性能。

Wu, Runqing · KaiHui, Huang · HanYi, Zhang · 刘启和 · Guo, Jinyu · JingSong, Deng · Ye, Fei

Knowledge-Based Systems 2025

技术优势

双缓冲分工

快缓冲采用高效存储采样暂存新样本,慢缓冲保留关键信息样本,避免在单一缓冲中互相挤压,使新旧知识得以分开管理。

留得全也留得精

引入新的信息论优化策略,从互信息角度选择样本,使慢缓冲中保留的样本既多样又高信息量,更有效地代表过去任务分布。

自动腾地方

提出平衡样本选择机制,自动识别并移除冗余样本,为后续任务的新数据释放存储空间,从而在不牺牲性能的前提下扩展到更多任务。

性能与记忆兼得

大量连续学习实验表明,ITDMS 在维持固定大小记忆缓冲的同时有效提升学习性能,说明该方法在资源受限下仍能保持竞争力。

应用场景