自步权重巩固算法

甄别任务差异

一种即插即用的持续学习正则化框架，通过评估旧任务优先级，在降低计算成本的同时克服灾难性遗忘。

Wei, Cong · 丛杨 · 孙干 · 刘宇阳 · 董家华

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

计算成本不随任务数暴增

由于只需对困难任务施加正则化，无需对所有旧任务都计算正则项，计算开销随任务数增加的幅度大幅减小。

应用场景

• 智能体终身学习：无需存储旧数据即可克服遗忘，使智能体在多任务流中持续学习。
• 机器人自适应学习：在机器人按序学习新技能时保持旧技能，同时减少计算资源消耗。
• 边缘设备增量分类：降低持续学习计算开销，适合计算资源受限的边缘设备增量更新模型。