精度反超ResNet
用牛顿共轭梯度法设计CNN结构，将优化理论中的二进制项转译为dropout层，使dropout位置自然确定，而非经验性训练技巧。
Shen, Zhengyang · Yang, Yibo · She, Qi · Changhu, Wang · 马尽文 · 林宙辰
Science China Information Sciences 2023
在CIFAR-10上比ResNet高出4个百分点以上，在CIFAR-100上高出10个百分点以上。
将优化方案中的二进制项转译为dropout层，dropout模块自然出现在推导出的CNN结构中，位置由理论决定，而不是经验性训练策略。
从优化理论视角理解CNN，将标准前馈CNN视为拟牛顿法，ResNet视为更一般的拟牛顿法，进而用更好的牛顿共轭梯度法导出新结构。