精度损失<1.2%
无需原始数据即可完成神经网络4-bit量化,精度下降低至1.2%,性能接近有数据量化,适用于隐私受限场景。
Xu, Shoukai · Zhang, Shuhai · Liu, Jing · Zhuang, Bohan · Wang, Yaowei · 谭明奎
IEEE Transactions on Circuits and Systems for Video Technology 2023
通过知识匹配生成器从预训练模型中提取分类边界和数据分布知识,合成伪数据用于量化,彻底摆脱对真实数据的依赖。
随着量化比特数降低,KMDFQ 相比现有无数据量化方法的精度优势更加突出,在极低比特设置下仍能保持高准确率。
在 ImageNet 上,4-bit 量化的 ResNet-18 精度下降小于 1.2%,几乎与使用真实数据量化的结果相当。