重加权ADMM剪枝算法

压缩355倍不降精度

通过重加权机制动态评估权重重要性,避免传统阈值剪枝的突变缺陷,在更高压缩比下保持甚至提升模型精度。

Ming, Yuan · 都琳 · Feng, Jiang · 白建超 · Guanrong, Chen

Neural Networks 2024

参数信息

压缩比
355.9 ×
压缩比
4.24 ×

技术优势

压缩比更高

重加权机制赋予重要权重更高的重要性,从而在剪枝过程中保留关键连接,实现更高的压缩比而不损失精度。

训练更省时

通过减少必要的超参数数量,避免了繁琐的超参数搜索过程,从而节省大量训练时间。

精度不降反升

在多个模型和数据集上,该方法在实现高压缩比的同时,精度要么保持,要么略有提升。

应用场景