内存高效神经架构搜索算法

单路径搜索免崩溃

通过拓扑与操作解耦及稳健的双层优化,解决单路径DARTS的性能崩溃问题,实现搜索与评估一致。

Xiaoxing, Wang · Chu, Xiangxiang · Fan, Yuda · Zhang, Zhexi · 张博 · Xiaokang, Yang · 严骏驰

2023

参数信息

基准验证数
15

技术优势

不崩溃

通过拓扑与操作解耦以及 Gumbel-Top2 重参数化和梯度累积,避免派生过多无参数操作,确保搜索稳定。

内存省

搜索时仅需选择单路径子模型,无需将整个超网驻留内存,内存占用显著降低。

验证广

在 15 个基准数据集上验证了算法的有效性和稳健性。

应用场景