免除迭代调参
利用层级特征图的类别可分性为不同层分配位宽,无需强化学习或架构搜索即可快速获得最优混合精度配置。
Mingkai, Wang · 金泰松 · 张苗辉 · Zhengtao, Yu
Lecture Notes in Computer Science 2023
用线性规划直接求解最优位宽分配,取代强化学习或 NAS 的迭代过程。
将 TF-IDF 思想推广到特征图类别可分性度量,比仅凭层敏感度分配位宽更贴合激活值的内在判别能力。
在量化感知训练和训练后量化两种设定下,相同准确率时计算量和存储均低于现有方法。