锐度感知联邦元学习算法

泛化性能更优

针对联邦元学习双层优化损失景观复杂的问题,引入锐度感知最小化技术,在收敛速度匹配Per-Fedavg的同时获得更紧的泛化界。

吴庆涛 · Yong, Zhang · 刘牧华 · 朱俊龙 · Ruijuan, Zheng · 张明川

IEEE Internet of Things Journal 2024

参数信息

收敛速率
O(1/K)

技术优势

泛化界更紧

通过引入 PAC-Bayesian 泛化界分析,证明了 FSM 的泛化界优于现有联邦元学习方法,意味着在未见数据上的性能更有保障。

收敛速率匹配

当本地迭代轮数 T=1 时,FSM 达到 O(1/K) 的收敛速率,与 Per-Fedavg 方法相匹配,没有因为引入锐度感知而牺牲收敛速度。

理论有保障

论文对 FSM 的收敛性和泛化界进行了严格分析,给出了可证明的理论保证,这在实际部署中提供了可靠性依据。

应用场景