权重恢复剪枝算法

2:4稀疏下保性能

一种针对2:4结构化稀疏的权重恢复剪枝方法，通过恢复少量关键权重来提升剪枝后模型的性能，同时保持压缩效率。

Zhendong, Tan · Zhang, Xing-Jun · 魏正

2024

参数信息

压缩率

60 %

技术优势

性能不打折

恢复少量关键权重，缓解2:4分组约束导致的性能下降，在LLAMA2和OPT上超过其他一次性2:4剪枝方法。

大小可控

剪枝后模型大小保证约为稠密模型的60%，压缩率稳定。

无需再训练

一次性剪枝后通过恢复权重弥补性能损失，避免昂贵的再训练过程。

应用场景

• 大语言模型部署：部署时减少模型存储和显存占用，降低硬件门槛。
• 模型压缩：用2:4结构化稀疏把模型压到60%，兼顾压缩率和推理效率。
• 边缘端推理：压缩后模型更适合资源受限的边缘设备。