异构数据下高效个性化
针对物联网异构数据场景,通过知识蒸馏和伪数据构建公共数据集,在提升模型个性化性能的同时大幅降低通信开销。
Hanxi, Li · Guorong, Chen · 王斌 · Zheng, Chen · Yongsheng, Zhu · Fuqiang, Hu · Jiao, Dai · 王伟
IEEE Internet of Things Journal 2025
利用未标记伪数据构建公共数据集,通过知识蒸馏提取各客户端知识,避免直接传输原始数据,保护隐私。
通信时仅传输logits和类别原型,而非完整模型或梯度,显著提升通信效率,适应有限带宽。
引入Sharpness Aware Minimization优化局部训练,增强模型泛化能力。