前置特征量化网络

2bit 下显著提性能

该网络通过分离相邻层并联合校准特征与参数量化扰动,在超低位宽下解决了特征量化导致的性能退化问题。

Chu, Tianshu · Yang, Zuopeng · 黄晓霖

IEEE Transactions on Circuits and Systems for Video Technology 2023

参数信息

量化比特位宽
2 bit

技术优势

2-bit量化性能大幅提升

通过解耦相邻层并校准特征与参数量化扰动,缓解了超低比特下特征量化导致的性能下降。

无需重训练

该方法基于预训练模型的后训练量化流程,可直接生成量化模型,节省训练成本。

特征损失感知优化

针对校准问题提出特征损失感知优化策略,有效求解量化扰动下的最优参数。

应用场景