对抗高斯边际无数据量化

3比特量化精度领先

通过对抗高斯边际损失持续更新生成器，缓解合成数据同质化，进而提升量化模型的性能。

Hui, Luo · Zhang, Shuhai · Zhuang, Zhuangwei · Jiajie, Mai · 谭明奎 · Jianlin, Zhang

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

合成数据不再同质化

当全精度模型与量化模型差异较小时，对抗高斯边际损失为生成器增加监督信息，促进生成器持续更新。

3-bit量化精度领先

在无数据量化的各种设置下，尤其是3-bit等超低位宽设置下，所提方法取得了优于现有方法的性能。

能提升其他方法

所提方法可以作为通用组件，促进其他基于生成器的无数据量化方法的性能。

应用场景

• 模型量化：用无数据量化方法在不访问原始数据的情况下压缩模型，提高量化精度。
• 轻量化模型部署：通过优异的低位宽量化性能，实现模型轻量化，降低部署时的存储和计算开销。
• 边缘智能设备：在边缘设备上部署量化模型，无需原始数据即可提升精度，满足隐私和安全要求。
• 具身智能模型压缩：对具身智能模型进行无数据量化压缩，在保护数据隐私的同时提升模型性能。