异质数据下稳训练
一种面向非独立同分布数据的联邦学习算法,通过全局统计信息增强与对齐本地特征,可无缝嵌入主流CNN和Transformer架构,提升模型在异质数据上的表现。
Zhou, Tianfei · 袁野 · 王秉路 · Konukog̃lu, Ender
IEEE Transactions on Pattern Analysis and Machine Intelligence 2024
通过直接操作特征统计量实现增强与对齐,无需引入可学习参数,避免增加模型复杂度。
仅需交换特征统计信息,相比传输模型参数或梯度,额外通信成本极小。
无需改动现有网络结构,可直接嵌入主流CNN和Transformer架构中。