自生长二元激活网络

架构动态生长

该网络通过函数保持变换逐步扩展全连接网络，在维持精度的同时自动生成比人工设计更紧凑的架构，并具备增量学习能力。

Zeyang, Zhang · Chen, Yidong · Zhou, Changle

IEEE Transactions on Neural Networks and Learning Systems 2024

参数信息

在 MNIST 上，自动生成的架构仅用 33.44% 的参数就超越手工设计的 500+150 隐藏单元网络，还能提升 0.59% 精度。

与需要训练大量网络来寻找最优结构的神经架构搜索方法相比，SGBAN 的构建过程效率更高。

基于函数保持变换的训练技术可以在扩展架构和融合新数据时，不遗忘之前步骤学到的知识。

在 Disjoint MNIST 和 Disjoint CIFAR-10 增量学习任务上，SGBAN 均超越三种知名增量学习方法。