稀疏损失感知三值网络

精度不变，模型更小

把浮点参数编码为{-1,0,1}，通过稀疏正则化识别并剔除不重要的权重，在保持精度的同时压缩模型。

Zhou, Ruizhi · 牛凌峰 · 徐大川

Information Sciences 2025

技术优势

不损失精度

通过在优化目标中引入离散约束并耦合稀疏正则化，权重被限制在 {−1,0,1}，但模型容量并没有被牺牲，使得三值网络的精度与全精度模型持平。

压缩率更高

三值权重本身仅需 2 bit 表示，叠加稀疏后产生的零值可通过稀疏存储进一步缩减体积，使得压缩性能优于其他极具竞争力的基线。

应用场景

• 边缘端模型压缩：边缘设备存储和算力有限，三值化可显著缩小模型体积，便于在移动端部署。
• 轻量级深度学习推理：三值权重可转化为加减操作，比浮点乘法更高效，适合实时推理。
• 嵌入式神经网络部署：嵌入式系统存储带宽极小，三值网络结合稀疏可显著降低内存占用。