梯度感知INT8训练量化器

精度损失近零

用动态分段量化与更新方向搜索,在8位整数精度下实现接近浮点训练的效果,让低功耗设备在线训练成为可能。

Shuai, Wang · 康一

Neurocomputing 2023

技术优势

不用复杂量化器

数据感知动态分段直接适配梯度的特殊分布,省去手工设计复杂量化方案的开销。

量化误差更小

周期搜索更新方向的方法与动态分段配合,把INT8训练误差压到可忽略的水平。

边缘设备能在线学

用8位整数计算替代浮点训练,让低功耗设备不必依赖云端也能在线更新模型。

应用场景