33倍压缩仅降1%
用互信息指导剪枝、量化和蒸馏的联合优化，在极小性能损失下实现极高压缩比。
76575524 · 张声传 · Zheng, Xiawu
Mathematics 2025
通过最大化原始网络与压缩网络表征的互信息，同时优化剪枝、量化和知识蒸馏，避免分步优化导致的性能损失。
整个优化过程只需几个GPU小时，相比其他自动压缩方法大幅缩短时间，便于快速迭代。
在ResNet-18上达到33.41×压缩比，性能下降仅1.01%，优于现有最先进方法。
将信息论中的互信息度量直接用于指导模型压缩，弥合理论与实际应用之间的差距。