持续学习内存联合优化框架

零额外内存实现数据回放

该框架通过双层优化联合分配网络参数与回放缓冲区内存,利用剪枝和量化释放冗余,在严格内存约束下实现数据回放。

Ma, Zhiheng · Yaohui, Ma · 洪晓鹏 · Li, Huiyun · 张世周

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

回放不占额外内存

通过剪枝和量化释放神经网络参数冗余,腾出的内存空间直接用于存储回放数据,因此无需为回放缓冲区分配额外内存。

压过现有方法

在严格内存约束下,该方法的性能优于基于提示、特征回放、样本回放和正则化的方法,并且在多种数据集和神经网络架构上表现一致。

融合难题可解

将联合压缩和内存分配问题建模为双层优化问题,并通过多种优化技术协同求解,从而有效处理不同内存组件之间的相互作用。

应用场景