联邦剪枝扩展框架FedPE

通信效率最高提升121倍

为异构移动设备提供个性化模型剪枝与扩展，实现通信与精度的最佳平衡。

Yi, Liping · Xiaorong, Shi · Nan, Wang · 张金松 · 王刚 · 刘晓光

IEEE Transactions on Mobile Computing 2024

参数信息

通信效率提升

121 ×

通信效率提升下限

1.86 ×

技术优势

通信量最高降121倍

每个客户端只传输个性化最优子网络，而非完整模型，从而大幅减少通信数据量。

精度几乎无损

剪枝与扩展由精度变化动态控制，误差补偿策略确保子网络保持高性能，几乎不损失模型精度。

超参数自动优化

基于帕累托优化的OHS算法自动搜索最佳超参数，避免手动调参的繁琐过程。

应用场景

• 移动边缘计算：降低边缘设备间模型同步的通信量，适配带宽受限环境。
• 分布式机器学习：以子网络替代完整模型交互，提升跨设备协同训练的通信效率。
• 端侧AI推理：搜索到的轻量子网络可直接部署在设备端，降低推理资源需求。
• 隐私保护协作学习：在不共享原始数据的前提下协作训练，并减少需传输的参数。
• 资源受限设备学习：允许资源受限设备按算力搜索子网络，避免过重模型负担。