锐度感知曲率学习法

平滑损失景观

通过双层优化最小化曲率锐度度量，提升双曲神经网络的泛化性能。

Xiaomeng, Fan · 武玉伟 · 高志 · Harandi, Mehrtash T. · 贾云得

International Journal of Computer Vision 2025

技术优势

给出泛化界

推导了双曲神经网络的PAC-Bayesian泛化界，揭示了曲率通过影响损失景观的平滑度来影响泛化性能。

自动调曲率

通过双层优化过程最小化曲率的范围锐度度量，自动学习合适的曲率，无需人工调参。

求解高效

利用隐式微分算法近似曲率梯度，高效求解双层优化问题，并给出近似误差上界和收敛性分析。

应用场景

• 层次数据表示学习：为层次结构数据提供更平坦的损失景观，提升双曲模型的泛化能力。
• 双曲深度学习：自动调整曲率以平滑损失景观，增强双曲神经网络的优化稳定性。
• 长尾分类：在长尾分布下提升双曲模型的鲁棒性，缓解类别不平衡问题。
• 噪声标签学习：通过平坦的损失景观降低对噪声标签的敏感性，提升训练稳定性。
• 小样本学习：在少量样本下获得更优的泛化性能，缓解过拟合。