双阶段知识蒸馏联邦学习算法

缓解标签偏移遗忘

在客户端分类头部全局与客户端间进行双阶段知识蒸馏，配合动态权重调整，显著减轻对少数与缺失标签的遗忘。

沈凡凡 · Wenzhang, Su · 徐超 · 刘志全 · 冯君 · 何炎祥

Information Processing and Management 2026

参数信息

准确率提升

6.4 %

技术优势

少数类不再遗忘

通过G2C和C2G双阶段蒸馏，将全局知识传递给客户端以保留少数类信息，同时将客户端多样性知识聚合到全局，显著减轻少数与缺失标签的遗忘。

偏移鲁棒性提升

动态调整蒸馏权重，根据客户端标签分布自适应平衡多数类与少数类知识传递，使模型在严重标签偏移下仍保持高准确率。

应用场景

• 联邦学习：直接替代现有联邦学习聚合算法，处理客户端标签分布不均问题。
• 分布式训练：为分布式训练框架提供处理标签偏移的蒸馏模块。
• 隐私保护机器学习：在隐私保护约束下提升模型对小众类别的识别能力。
• 边缘智能：让边缘设备在数据分布不均时仍能保持全局模型准确率。