重参数化模型量化框架

抗离群点精度保持

量化保护重参数化模块结合跨块校准，缓解离群点对量化参数的影响，保持重参数化模型的原有精度。

Zhang, Luoming · He, Yefei · Fei, Wen · Lou, Zhenyu · Wu, Weijia · 75875925 · 周泓

Applied Intelligence 2025

参数信息

8比特训练后量化性能提升

1 %

6比特训练后量化性能提升

2 %

技术优势

精度损失更小

在相同比特位宽下，RepAPQ 的精度比已有训练后量化方法提高约 1%（8 比特）和约 2%（6 比特）。

校准更抗离群点

利用平均绝对误差替代均方误差来估计量化参数，降低离群点对参数选择的干扰，从而保持量化后模型的精度。

无需重新训练

作为训练后量化框架，RepAPQ 直接对预训练模型进行量化，不需要再次训练模型权重。

应用场景

• 模型量化：将重参数化模型量化后压缩部署，减少内存与计算开销。
• 推理加速：量化后模型以低比特运算，提升推理速度。
• 边缘部署：量化模型更小，适合资源受限的边缘设备。