奇异学习剪枝理论

统一剪枝几何框架

以奇异学习理论为LLM剪枝提供统一几何框架，将剪枝诠释为激活空间中的折叠操作，并给出信息损失上界。

Xinyu, Wang · Fan, Zhaoxin · Wu, Faguo · Zheng, Hongwei · Yuanze, Hu · Gen, Li · C. Zhichao, Yang · Qiu, Ye · 孙怡帆 · 吴文峻

Neurocomputing 2026

技术优势

给出理论上界

严格推导出剪枝导致的信息损失上界，为方法选择提供理论保证。

统一现有方法

将Wanda、SparseGPT等主流剪枝方法整合为框架的特殊情形，无需为每种方法单独开发。

应用场景

• 大模型压缩：从理论上指导剪枝策略选择，实现更可靠的模型压缩。
• 模型部署优化：通过统一框架优化剪枝过程，降低部署时的计算与存储开销。
• 边缘AI：利用理论保障的剪枝方法，在资源受限设备上高效运行LLM。