知识缓存驱动PFL架构

通信开销降两个数量级

用知识缓存取代参数传输，让边缘设备在不增加通信负担的情况下获得个性化模型。

Wu, Zhiyuan · Sun, Sheng · 王煜炜 · Min, Liu · Xu, Ke · Wen, Wang · Xuefeng, Jiang · 高博 · Jinda, Lu

IEEE Transactions on Mobile Computing 2024

参数信息

通信效率提升

>100 ×

技术优势

通信开销降两个数量级

通过只传输logits和从缓存中提取的个性化知识，而非大规模参数，大幅降低设备与服务器之间的通信负担。

不依赖公共数据集

利用服务器端知识缓存，避免了以往基于logits的方法对不现实公共数据集的依赖。

设备端模型可异构

基于logits交互的架构天然允许设备端模型结构不同，增强了边缘场景下的灵活性。

精度与最优方法相当

在四个数据集上的实验结果表明，FedCache的精度与最先进的个性化联邦学习方法相当。

应用场景

• 边缘智能：面向资源受限边缘设备，以极小通信代价实现个性化模型训练。
• 物联网：适配物联网中数据孤岛与异构设备，支持隐私保护的协同学习。
• 联邦学习：降低联邦学习通信开销，同时为每个客户端提供个性化模型。