正交梯度投影持续学习

新旧任务两不误

从损失景观平坦性角度重新审视正交梯度投影，提出双重平坦性感知优化框架，同时提升新任务性能并避免旧任务遗忘。

Yang, Enneng · Li, Shen · Wang, Zhenyi · Liu, Shiwei · 郭贵冰 · 王兴伟 · Tao, Dacheng

IEEE Transactions on Pattern Analysis and Machine Intelligence 2025

技术优势

新任务学得更快

在原始数据与最差扰动数据上同时优化损失及其景观，得到平坦性感知梯度，从而在正交投影约束下也能有效更新新任务。

旧任务忘得更少

平坦性优化使损失景观在新旧任务方向上都更平滑，即便投影约束放松，旧任务性能也不易骤降。

框架通用不挑模型

所提框架统一了正交梯度投影类方法，由数据与权重扰动、平坦性感知优化、梯度投影三个模块组成，可适配不同网络结构。

应用场景

• 持续学习算法：为持续学习算法提供兼顾新旧任务性能的通用优化框架。
• 智能体持续适应：使智能体在连续适应新环境时避免遗忘旧技能。
• 边缘设备在线学习：在边缘设备在线学习中用平坦性优化缓解资源受限下的遗忘。
• 多任务学习：以梯度投影方式在多任务学习中实现任务间正向迁移。
• 模型稳定性优化：通过优化损失景观平坦性增强模型在不同任务上的稳定性。