动量加速ReLU-NMD-T算法

正负动量加速收敛

该算法针对Tikhonov正则化的ReLU非线性矩阵分解模型设计，通过同时利用正负动量参数，在保持解的质量的同时加速收敛过程。

王青松 · Cui, Chunfeng · 韩德仁

IEEE Signal Processing Letters 2024

技术优势

收敛更快

算法同时采用正负动量参数，区别于仅使用正动量的方法，能够加速收敛过程。

缓解过拟合

通过引入Tikhonov正则化项，对模型参数施加约束，从而减轻原有ReLU-NMD模型的过拟合问题。

开箱即用

作者公开了完整的代码实现，用户可以直接获取并复现结果。

应用场景

• 推荐系统：用于稀疏矩阵分解，提升推荐模型的训练效率。
• 信号处理：从稀疏非负信号中提取低秩成分，用于降噪或压缩。
• 机器学习：作为神经网络相关的分解方法，嵌入学习框架加速训练。
• 数据挖掘：从大规模稀疏数据中挖掘潜在结构，提高模式发现速度。
• 特征提取：对非负稀疏数据进行非线性低秩表示，获取有效特征。