连续-离散对齐优化

搜索效率不减

一种用于可微分神经架构搜索的优化算法，通过将离散化过程融入训练阶段并更新架构参数，提升搜索模型的鲁棒性与泛化能力。

刘文博 · 吴佳 · 邓涛 · 闫飞

Engineering Applications of Artificial Intelligence 2025

技术优势

不增加搜索时间

该算法将离散化过程融入训练阶段，无需额外的搜索时间即可提升性能。

鲁棒性更强

通过最小化连续与离散参数表示的差异，提升搜索模型的鲁棒性。

泛化能力提升

通过减小离散化差异，搜索到的架构具有更高的泛化能力。

应用场景

• 神经架构搜索：为现有搜索算法提供优化方案，直接替换优化器即可使用。
• 自动机器学习：提升自动搜索模型的性能，无需额外计算资源。
• 模型搜索：增强搜索算法的泛化能力，适用于多种模型搜索任务。