学习率调度算法的自主学习

训练机器学习模型可被视为探索一个将模型参数设置与平均错误率映射的景观。训练目标是找到景观中最低盆地的底部，即产生最低错误率或"损失"值的参数设置。

训练过程中的关键超参数是学习率，它决定了给定训练数据批次的学习对模型参数设置的影响程度。在训练过程中改变学习率是常见做法：例如，最初使用高学习率快速探索整个景观，但随时间降低学习率以确保不会跳过全局最小值。

改变学习率被称为学习率调度，它对实现稳定收敛和最大准确度至关重要。然而，制定最优调度通常依赖于费力的试错实验。随着模型变得更加复杂，手动调整变得越来越不可扩展，人工设计的调度无法响应损失景观、模型参数和数据集的复杂细节。

随机非负矩阵分解分析

在第一篇论文中，研究人员分析了随机非负矩阵分解（NMF），这是一种经过充分研究的无监督学习技术。NMF涉及将非负矩阵分解为两个低秩非负因子矩阵。

考虑到噪声梯度（即损失景观中斜率的噪声估计），研究人员建立了保证稳定性的学习率上限，即在重复训练周期下收敛到局部最小值。这产生了有价值的见解：首先，它精确量化了学习率如何控制收敛速度与潜在发散之间的权衡；其次，它表明可以通过适当的学习率初始化和裁剪来保证稳定性。

在获得收敛保证后，研究重点转向学习哪些调度可能适用于特定问题。强化学习（RL）代理搜索并生成应导致更好最终状态的决策序列，这可直接应用于学习率调度，以在遵守稳定性边界的同时最大化收敛速度。

基于使用RL生成NMF调度的经验，研究人员将自适应调度范式扩展到深度神经网络。在另一篇论文中，假设数据驱动的调度仍然可以改进手动调整的学习率和调度。

自动调度成功减少了训练时间，并提高了与余弦退火等标准启发式方法相比的泛化能力。这证明了该方法即使在没有稳定性保证的情况下也具有经验可行性。通过从数据中在线学习，调度器适应了损失景观和梯度轨迹的细微差别。

研究人员开发了一个名为GreedyLR的轻量级学习调度器，它根据训练损失的近期改进来设置学习率。与流行的调度器和优化器组合相比，GreedyLR在90%以上的情况下表现相当或更好。

在每个训练周期中，GreedyLR根据验证损失的变化调整学习率。其核心逻辑简单：如果损失改善则增加学习率，如果损失恶化则减少学习率。但GreedyLR采用额外技术使这种贪婪启发式方法在实践中表现良好：

实验发现，GreedyLR能够产生多样化、动态的调度，特别是在大型模型上实现更快收敛。它的表现也优于超梯度下降等更先进的方法，后者可被视为GreedyLR的一阶版本。

这些贡献共同展示了学习优化器加速深度学习的潜力。通过自动适应训练动态，它们可以找到比依赖经验法则的人工设计算法更优的解决方案。GreedyLR的易用性和持续收益使其成为准备广泛采用的引人注目的通用调度器。