变分神经架构搜索

校准且鲁棒

通过变分推断学习架构权重分布，以校准且鲁棒的方式搜索神经网络架构，优于现有可微搜索方法。

Ma, Benteng · 张婧 · 夏勇 · Tao, Dacheng

International Journal of Computer Vision 2024

技术优势

校准的置信度

通过学习架构权重分布而非点估计，避免对单一架构的过度自信，使搜索结果的置信度得到校准。

鲁棒性更强

基于变分推断的权重分布使搜索到的架构对噪声和扰动更鲁棒，实验证明对抗鲁棒性显著提升。

无需训练评估

引入训练无关的架构性能估计器，在初始化阶段即可评分架构，大幅降低最优架构估计的计算成本。

应用场景

• 神经网络架构搜索：用变分推断替代点估计，搜索校准且鲁棒的架构。
• 自动机器学习：降低架构搜索的计算成本，无需训练即可评估。
• 鲁棒深度学习：提升模型对抗鲁棒性，超越现有方法。