双重注意力差分架构搜索算法

搜索稳定性更优

通过双重注意力机制与长期马尔可夫特征选择策略，抑制搜索过程中的非加权操作过度积累，在CIFAR-10、CIFAR-100和ImageNet上均取得比DARTS更高的准确率。

韩红桂 · 张奇宇 · 李方昱 · 杜永萍

Engineering Applications of Artificial Intelligence 2025

参数信息

准确率提升

0.43 %

准确率提升

0.68 %

准确率提升

2.2 %

技术优势

搜索不会再坍塌

通过空间与通道双重注意力以及长期马尔可夫特征选择，减少冗余特征，抑制无权重操作的优势积累，避免 DARTS 搜索过程中的架构坍塌。

精度全面超过 DARTS

在 CIFAR-10、CIFAR-100 和 ImageNet 上分别比 DARTS 提升 0.43%、0.68% 和 2.2% 的准确率，在更大的数据集上优势更明显。

更稳的搜索过程

通过长期马尔可夫特征选择策略，关键特征被动态传递到搜索空间，提高有效特征信息的利用，保证架构搜索的稳定性。

应用场景

• 神经网络架构搜索：可代替人工设计网络，自动搜索更高精度且更稳定的网络结构。
• 自动机器学习：可作为 AutoML 中的模型结构优化组件，减少人工调参干预。
• 具身智能场景：其搜索稳定性与精度提升可为机器人等端侧模型提供更可靠的架构。