终身量化过程

低遗忘率

通过正则化量化搜索空间和平衡重放数据，在流式数据上实现持续低遗忘的量化训练。

Ting-An, Chen · Yang, De-Nian · Chen, Ming-Syan

2023

技术优势

忘得少了

通过约束量化搜索空间接近预定义标准空间，减少任务切换时的空间漂移，从而降低旧任务的性能衰减。

重放数据不偏科

根据类别分布对重放数据的损失进行重新加权，增大其在训练中的影响，缓解数据量少导致的偏向新任务的偏差。

精度不打折

在解决遗忘问题的同时，方法在各项基准上保持了出色的准确率，实现了低遗忘与高精度的兼顾。

应用场景

• 模型压缩：在边缘设备有限的存储和算力下，用更低比特表示网络来减少内存占用。
• 边缘计算：在边缘设备上进行低比特量化训练，适应流式数据并避免遗忘。
• 增量学习：在新任务到来时进行量化学习，同时保留对旧任务的记忆。
• 持续学习：在持续不断的数据流上更新量化模型，避免灾难性遗忘。