多轮去中心化数据集蒸馏

通信量降近半

卫星仅传输合成后的数据集而非模型参数,使通信开销与模型规模脱钩,并利用蒸馏缓解数据异构对收敛的影响。

许建龙 · Mengqing, Jin · Jinze, Xiao · Dianming, Lin · Yuelong, Liu

Future Generation Computer Systems 2025

参数信息

通信量降低
49.84 %

技术优势

通信量不受模型规模影响

卫星只回传合成后的数据集,通信开销仅取决于数据集大小,因此模型越大、省得越多。

通信量减半

在模拟卫星网络实验中,FL-M3D将通信量降低了约49.84%,实际效果接近一半。

异构数据也能收敛

多轮去中心化数据集蒸馏缓解了卫星数据异构带来的样本模糊,保证模型性能仍然提升。

应用场景