在系列研究中，某中心的研究人员通过理论分析和实践验证，开发了可学习的学习率调度器。研究分为三个阶段：首先在非负矩阵分解（NMF）中建立稳定性保证并开发可学习调度器；随后将该方法扩展至深度神经网络；最终提炼出高效的启发式调度算法GreedyLR。

在ICLR 2023发表的论文中，研究人员分析了随机非负矩阵分解的优化问题。通过随机梯度下降最小化Frobenius范数误差，并假设梯度存在噪声时，确定了保证收敛的学习率上界。这一分析揭示了学习率在收敛速度与发散风险间的权衡关系，并通过强化学习代理自动生成优于手动设计的调度方案。

随后研究扩展至深度神经网络。在另一篇ICLR 2023论文中，尽管缺乏理论保证，但数据驱动的调度器在计算机视觉和自然语言处理任务中仍显著提升训练效率和泛化能力。然而强化学习方法计算成本高昂，促使研究进一步简化。

在PRML会议上获奖的GreedyLR算法应运而生。该算法根据验证损失变化动态调整学习率：损失改善时增大学习率，恶化时减小。其核心创新包括：

• 耐心参数避免对噪声过度反应
• 平滑窗口计算滚动平均损失
• 阈值机制忽略微小变化
• 冷却和预热阶段保持调整趋势
• 可配置的学习率边界平衡探索与利用

实验表明，GreedyLR在90%以上情况下优于主流调度器，尤其在大模型中实现更快收敛。与需要为每个参数单独调整学习率的超梯度下降法相比，GreedyLR仅使用全局学习率即达到更好效果。

这些成果证明了学习型优化器在加速深度学习方面的潜力。GreedyLR作为通用调度器已具备广泛应用价值，未来将继续提升基于学习的方法的效率。