2bit 下显著提性能
该网络通过分离相邻层并联合校准特征与参数量化扰动,在超低位宽下解决了特征量化导致的性能退化问题。
Chu, Tianshu · Yang, Zuopeng · 黄晓霖
IEEE Transactions on Circuits and Systems for Video Technology 2023
通过解耦相邻层并校准特征与参数量化扰动,缓解了超低比特下特征量化导致的性能下降。
该方法基于预训练模型的后训练量化流程,可直接生成量化模型,节省训练成本。
针对校准问题提出特征损失感知优化策略,有效求解量化扰动下的最优参数。