孪生对比网络

无数据增量学习

通过孪生结构和对比损失，在固定旧参数的同时实现新旧类别间的知识迁移，提升类增量学习中的判别能力。

Guangzhi, Zhao · Mu, Kedian

2023

技术优势

灾难性遗忘被避免

所有已学习参数被固定，不参与后续更新，从根本上杜绝了旧知识的覆盖。

无需旧类数据

利用网络中累积的先验知识，在旧类数据不可访问时仍能提升新旧类别判别力。

知识迁移简单有效

孪生结构为未来使用学习不同的特征表示，新类到来时通过对比损失直接利用旧网络，无需复杂迁移机制。

应用场景

• 增量学习：让模型持续学习新类别而不忘旧类别，无需保留旧数据。
• 智能体：智能体可边与环境交互边扩展识别能力，适应动态开放环境。
• 终身学习机器人：机器人可在部署后持续学习新物体类别，无需重新训练整个模型。
• 边缘设备：模型参数量固定，适合资源受限设备上的在线学习场景。
• 工业视觉检测：产线可增量添加新缺陷类别检测，无需保存大量历史缺陷图像。