类别可分性量化

免除迭代调参

利用层级特征图的类别可分性为不同层分配位宽,无需强化学习或架构搜索即可快速获得最优混合精度配置。

Mingkai, Wang · 金泰松 · 张苗辉 · Zhengtao, Yu

Lecture Notes in Computer Science 2023

参数信息

Top-1准确率
73.03 %
Top-1准确率
71.30 %

技术优势

搜索零迭代

用线性规划直接求解最优位宽分配,取代强化学习或 NAS 的迭代过程。

指标更准

将 TF-IDF 思想推广到特征图类别可分性度量,比仅凭层敏感度分配位宽更贴合激活值的内在判别能力。

压缩更强

在量化感知训练和训练后量化两种设定下,相同准确率时计算量和存储均低于现有方法。

应用场景