压缩355倍不降精度
通过重加权机制动态评估权重重要性,避免传统阈值剪枝的突变缺陷,在更高压缩比下保持甚至提升模型精度。
Ming, Yuan · 都琳 · Feng, Jiang · 白建超 · Guanrong, Chen
Neural Networks 2024
重加权机制赋予重要权重更高的重要性,从而在剪枝过程中保留关键连接,实现更高的压缩比而不损失精度。
通过减少必要的超参数数量,避免了繁琐的超参数搜索过程,从而节省大量训练时间。
在多个模型和数据集上,该方法在实现高压缩比的同时,精度要么保持,要么略有提升。