截断集中差分隐私联邦学习算法

非IID下更紧隐私追踪

首次在联邦学习场景中采用截断集中差分隐私技术，仅注入更少噪声即可达到同等级别的隐私保护，并通过服务器端自适应优化显著缓解非IID数据和隐私噪声对模型效用的影响。

陈林 · 丁晓锋 · Bao, Zhifeng · 周潘 · Hai, Jin

IEEE Transactions on Knowledge and Data Engineering 2024

技术优势

隐私追踪更紧

采用截断集中差分隐私技术，在联邦学习场景下更紧密地追踪端到端隐私损失，从而在相同隐私预算下只需更少噪声。

无需担心采样偏差

服务器无放回均匀采样部分客户端，保证采样无偏，避免因客户端异质性导致的采样方差问题。

噪声影响更小

服务器端采用自适应优化，同时减轻非IID数据和DP噪声对模型效用的影响，提升模型表现。

应用场景

• 隐私保护机器学习：用更少噪声满足同样的差分隐私保证，适合对隐私敏感的应用。
• 分布式协作学习：在非IID数据下通过无偏采样和自适应优化提升协作训练稳定性。
• 跨设备联邦学习：适用于客户端异质性强的跨设备场景，同时提供严格的隐私保护。