精度提升且通信开销低
与传统联邦学习仅使用硬标签不同，该方法通过上传软目标及其梯度，在不显著增加通信开销的情况下显著提升模型精度，并引入损失函数权重动态调整策略以最大化知识蒸馏与联邦学习的协同效果。
刘天 · Xia, Jun · Zhiwei, Ling · Fu, Xin · Yu, Shui · 陈铭松
IEEE Internet of Things Journal 2023
通过知识蒸馏利用软目标中的信息，模型能学习到硬标签缺失的类别间相似性，从而在多个基准上提升精度。
该方法仅上传软目标而非完整模型或额外数据，通信开销相比已有方案没有明显增加。
通过动态调整损失函数中知识蒸馏项与联邦学习项的权重，最大化软目标与硬标签的协同作用，进一步提升模型性能。