精度损失近零
用动态分段量化与更新方向搜索,在8位整数精度下实现接近浮点训练的效果,让低功耗设备在线训练成为可能。
Shuai, Wang · 康一
Neurocomputing 2023
数据感知动态分段直接适配梯度的特殊分布,省去手工设计复杂量化方案的开销。
周期搜索更新方向的方法与动态分段配合,把INT8训练误差压到可忽略的水平。
用8位整数计算替代浮点训练,让低功耗设备不必依赖云端也能在线更新模型。