增强梯度可微架构搜索算法

低复杂度高精度

通过双阶段搜索同时优化网络性能与复杂度，在参数小于1M时错误率低于现有手工网络。

张海超 · 郝矿荣 · Lei, Gao · 唐雪嵩 · 魏冰

IEEE Transactions on Neural Networks and Learning Systems 2023

参数信息

错误率

3.18 %

错误率

19.16 %

参数量

1 M

技术优势

参数减到 1M 以内

在不到 1M 的参数规模下，CIFAR-10 错误率仅 3.18%，CIFAR-100 错误率仅 19.16%，精度与轻量兼得。

精度超过手工网络

在 CIFAR-10 和 CIFAR-100 上均优于所有参与评估的手工设计网络，说明自动搜索架构具备竞争力。

一步省去调参负担

块级搜索使用增强梯度方法自动设计高性能低复杂度块，避免人为设计块的反复试错。

复杂度大幅下降

与其他 NAS 方法相比，本方法得到的网络参数量显著减少。

应用场景

• 自动机器学习：自动搜索轻量高精度网络，减少人工调参与试错成本。
• 模型压缩：在搜索阶段直接限制参数量，省去后置压缩步骤。
• 资源受限设备：生成 1M 参数以内的网络，适合移动端等资源受限设备部署。