元学习率进化网络搜索

少算力 高稳健

以元学习动态学习率替代固定学习率,在降低信息损失的同时引入代理模型预筛与周期性变异,使神经架构搜索在低算力下仍保持高性能。

李阳阳 · Guanlong, Liu · 尚荣华 · 焦李成

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

降低信息损失

用元学习(Meta-LR)替代固定学习率,获得适合当前架构的动态调度,减少训练过程中的信息丢失,提高评估质量。

省计算

自适应代理模型通过自适应阈值,在少量轮次内筛出潜在架构,只对它们进行完整轮次评估,大幅减少评估开销。

更稳健

周期性变异算子增强种群多样性,提升泛化性和稳健性,使搜索不易陷入局部最优。

应用场景