轻量无损联邦学习梯度裁剪方法

大幅降低通信负担

通过梯度裁剪与Fisher信息矩阵去除低影响参数,实现联邦学习中通信负载的轻量化,同时保持模型精度并保护隐私。

Zhen, Liu · 杨昌松 · 丁勇 · Liang, Hai · Yujue, Wang

IEEE Internet of Things Journal 2024

技术优势

通信成本大幅下降

利用 Fisher 信息矩阵移除对模型影响较小的参数,显著降低客户端与服务器之间的通信量。

模型精度无损

梯度裁剪和参数选择过程保持模型精度,实验表明模型精度不受影响。

隐私保护增强

通过 Diffie-Hellman 密钥交换对客户端计算参数进行扰动,防止敏感信息泄露。

应用场景