设备端知识融合
在无法共享预训练模型的前提下，通过自适应选择参与教师，在资源受限设备上训练出可媲美集中式基线的新任务模型。
Donglin, Xie · Ruonan, Yu · Fang, Gongfan · Jiaqi, Han · 宋杰 · Feng, Zunlei · 孙丽 · 宋明黎
Chip 2023
学生模型无需直接访问教师的预训练模型，只需利用教师的知识进行选择性聚合，从而保护隐私和知识产权。
方法设计考虑了设备资源受限的情况，可以在低功耗和资源受限的设备上部署执行。
在单任务和多任务设定下，FedSA 均能达到与集中式基线相当的性能，证明了其在性能上的竞争力。
通过基于显著性的方法动态选择参与教师，只集成最有代表性的能力，从而提高知识融合效率。