40维训练DNN
直接在40维子空间优化深度网络，摆脱海量参数冗余，训练更快且对标签噪声更稳健。
李涛 · Lei, Tan · Zhehao, Huang · Tao, Qinghua · 刘翼鹏 · 黄晓霖
IEEE Transactions on Pattern Analysis and Machine Intelligence 2023
优化空间从百万维降到40维，性能与常规训练相当。
低维优化对标签噪声更鲁棒，训练不易被错误标签带偏。
将已训练模型映射到子空间继续优化，性能可进一步提升。
仅需优化少量变量，可采用拟牛顿法，收敛更快。