低秩异构联邦学习框架

异构设备高效聚合

在设备算力和通信能力各异的场景下，通过低秩分解实现异构模型的高效聚合，保障全局模型精度。

姚德中 · Wanning, Pan · Yuexin, Shi · Michael J., O'Neill · Dai, Yutong · 万瑶 · Zhao, Peilin · Jin H. · Sun, Lichao

Artificial Intelligence 2025

技术优势

无需统一架构

客户端只需训练低秩子模型，不同规模和结构的模型均可参与联邦学习，设备算力低也能加入。

通信开销更低

传输低秩因子代替完整模型，显著减少每轮交互的数据量，适合带宽受限的边缘设备。

收敛有保证

首次给出异构设备下联邦学习的理论收敛证明，让性能预测有依据。

应用场景

• 边缘智能：让算力参差的边缘设备共同训练一个全局模型，不必统一硬件架构。
• 物联网联邦学习：适配物联网中大量低功耗、低带宽设备，降低通信需求并容忍异构模型。
• 分布式机器学习部署：部署时可按设备能力分配不同大小的低秩模型，统一聚合更新。
• 模型压缩与加速：用低秩分解压缩客户端模型，减少传输与计算量，加速联邦训练。