数据自由量化模型

精度损失<1.2%

无需原始数据即可完成神经网络4-bit量化,精度下降低至1.2%,性能接近有数据量化,适用于隐私受限场景。

Xu, Shoukai · Zhang, Shuhai · Liu, Jing · Zhuang, Bohan · Wang, Yaowei · 谭明奎

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

精度下降
1.2 %

技术优势

无需原始数据

通过知识匹配生成器从预训练模型中提取分类边界和数据分布知识,合成伪数据用于量化,彻底摆脱对真实数据的依赖。

低比特优势明显

随着量化比特数降低,KMDFQ 相比现有无数据量化方法的精度优势更加突出,在极低比特设置下仍能保持高准确率。

接近有数据量化

在 ImageNet 上,4-bit 量化的 ResNet-18 精度下降小于 1.2%,几乎与使用真实数据量化的结果相当。

应用场景