联邦零样本学习模型

隐私强泛化好

用中级语义知识在分布式客户端间迁移，无需共享原始数据即可训练可泛化的零样本模型。

Shitong, Sun · Gong, Shaogang · Si, Chenyang · Wu, Guile

Pattern Recognition 2024

参数信息

验证基准数据集数

5

技术优势

不传原图更防攻击

传输的是中级语义知识而非原始图像或实例敏感编码器，降低了隐私推断攻击的风险。

用大模型扩语义空间

利用语言或视觉-语言基础模型中的语义知识来丰富联邦零样本学习中的中级语义空间，从而提升模型判别力。

不共享数据也能训

多个本地客户端在不共享本地数据的前提下学习中级语义知识，并聚合出一个全局可部署模型。

应用场景

• 分布式模型训练：在多个客户端不共享本地数据的情况下协同训练一个全局模型，替掉集中式训练。
• 隐私保护机器学习：传输不敏感的语义知识而非原始数据或实例敏感编码器，降低隐私攻击风险。
• 零样本图像分类：为联邦场景下的未见类别图像分类提供可泛化的零样本模型。