平均限幅隐私SGD

一次限幅即高效

针对重尾数据的差分隐私随机凸优化，采用一次性限幅策略，在保证隐私的同时实现高效收敛，适用于大规模问题。

Chenhan, Jin · 周凯文 · Han, Bo · 程系 · 曾铁勇

Machine Learning 2024

技术优势

避免多次限幅低效

一次性限幅替代多次限幅，显著减少大规模问题上的计算开销。

给出改进复杂度界

建立了新的收敛结果和改进的复杂度界，优于现有方法。

覆盖多种问题类型

适用于约束/无约束凸问题、强凸和非光滑情况，适用范围广。

高概率保证适用

对重尾数据具有高概率保证，可靠性强。

应用场景

• 隐私保护机器学习：利用差分隐私保护训练数据隐私，用于隐私敏感场景。
• 差分隐私优化：提供带有差分隐私保证的优化算法实现。
• 大规模凸优化：一次性限幅提高大规模凸优化的计算效率。