异构设备协同训练
该混合模型联邦学习机制通过大-小全局混合模型让异构设备训练适合自身算力的部分，并聚类设备以缓解数据异构对精度的影响，同时对高-低性能设备配对、样本选择和知识蒸馏进行优化，实现了异构设备上高效协同训练。
Wang, Pu · Ouyang, Tao · Wu, Qiong · Huang, Qianyi · Jie, Gong · 陈旭
Journal of Systems Architecture 2024
通过大-小全局混合模型，每个设备只训练适合自己算力的那部分网络，低性能设备不必再被排除在训练之外。
将模型相似的设备聚成一簇，在簇内协同训练，从而降低活动识别数据异构对精度的影响。
Large-to-Small知识蒸馏把大模型学到的知识高效迁移给资源受限的小模型，提升小模型精度。