ERHC模型压缩网络

省参不减精度

通过扩-精-扩结构和共识梯度重置，在保持教师模型精度的同时大幅压缩学生模型。

Xie, Yi · Wu, Hanxiao · 朱建清 · 曾焕强 · 张婧

IEEE Transactions on Image Processing 2024

参数信息

模型参数量节省

75.33 %

FLOPs节省

74.29 %

技术优势

不用特征适配器

RER结构本身就能扩展学生表征能力，无需额外的特征维度适配器，避免了知识失真。

推理速度更快

训练好的RER可以通过重参数化简化为一个紧凑的卷积层，加快推理速度。

压缩不损失精度

在VeRi-776上以ResNet101为教师，节省75.33%模型参数和74.29% FLOPs，精度不下降。

应用场景

• 智能监控：在监控场景中直接部署压缩后的Re-ID模型，实现快速身份识别。
• 边缘设备部署：大幅减少参数和计算量，使模型能运行在资源受限的边缘设备上。
• 轻量化视觉模型：为Re-ID任务提供一种轻量化模型构造方法，保持准确率同时降低复杂度。