高效模型压缩
将网络训练建模为多目标优化，同时追求高精度和低量化误差，通过可微凸误差函数和动态拉格朗日系数自适应平衡两个目标。
樊春晓 · 郭丹 · Ziqi, Wang · Meng, Wang
IEEE Transactions on Pattern Analysis and Machine Intelligence 2024
设计了可微的量化误差函数，避免量化操作不可导的反向传播问题，使量化可以与训练一起优化。
采用时间序列自蒸馏训练方案，结合历史软标签与硬目标，保证训练过程中性能收敛可控且稳定。
动态拉格朗日系数自适应调整量化损失和性能损失的梯度幅度，无需手动调参即可平衡两个目标。
在MNIST、CIFAR-10/100、ImageNet、Penn Treebank和Microsoft COCO上评估，取得优于现有方法的结果。