环形剪枝蒸馏联邦学习算法

不共享公共数据

该算法通过环形架构和自动模型剪枝机制,在保护隐私的同时实现高效知识传递,无需依赖公共数据集即可完成跨孤岛联邦训练。

Xiao, Danyang · Jialun, Li · Xuan, Mo · Wu, Weigang · Jiannong, Cao

IEEE Transactions on Dependable and Secure Computing 2025

技术优势

无需公共数据集

客户端之间的蒸馏基于本地生成的代理模型完成,不涉及共享公共数据集,从根本上消除了对公共数据的依赖。

训练轮次大幅减少

在 N 个客户端的系统中只需 N 个全局轮次(通信轮次)即可完成联邦训练,而传统方法往往需要更多轮次。

掉线不拖垮训练

历史模型蒸馏机制利用本地存储的历史代理模型副本传递知识,即使部分客户端掉线,训练仍能继续并保持性能。

通信成本更低

通过自动模型剪枝生成压缩的代理模型用于蒸馏,传输的数据量远小于完整模型,从而降低通信开销。

应用场景