注意力增强NAS预测器

搜索效率大增

一种基于注意力机制与路径编码融合的神经架构搜索算法,通过动态调整搜索方向来优先探索潜力架构。

李远刚 · Ma, Rui · 张倩 · Zong, Linlin · Liu, Xinyue

Scientific Reports 2025

技术优势

显著提高预测精度

在预测器中引入注意力机制并结合路径编码,增强了对架构拓扑信息的表征,从而在NAS-Bench-101和NAS-Bench-201上显著提升了预测准确率。

显著提升搜索效率

算法根据各路径对架构性能的重要性动态调整搜索方向,优先探索高潜力架构,从而减少无效搜索,提升效率。

前向进化的搜索策略

预测器在搜索过程中不仅评估架构,还能提供指导,实现从被动评估到主动引导的转变。

应用场景