视觉语言模型增强
利用蒸馏中的选择性自适应,直接将视觉语言模型的可靠知识蒸馏到联邦模型,同时微调不可靠输出,解决联邦域泛化中客户端间与客户端内的域偏移权衡。
Zhenyu, Liu · Heye, Zhang · Yiwen, Wang · 高智凡
Information Fusion 2026
通过联邦能量驱动可靠性评估(FedReap)判断视觉语言模型输出的可靠性,只蒸馏可靠输出,避免不可靠知识误导模型。
对于不可靠的视觉语言模型输出,FedReap选择性地进行微调,使其适应下游数据分布,减少分布差异的影响。
在五个数据集上与十二种最先进方法相比,FedReap表现出更优的域泛化能力。