高维L2-Boosting：收敛速率

Ye Luo, Martin Spindler, Jannis Kueck; 26(89):1−54, 2025

摘要

提升算法是机器学习领域最重要的进展之一。本文研究了在高维设置下采用提前停止策略的L2-Boosting算法的收敛速率。研究填补了现有文献的空白，在近似稀疏性且无需beta-min条件的设定下，提供了L2-Boosting的收敛速率证明。研究同时表明，经典L2-Boosting算法的收敛速率取决于由稀疏特征值条件描述的设计矩阵。

为证明上述结论，通过分析L2-Boosting的重访行为，推导出了纯贪婪算法的改进近似结果，这些结果可能具有独立的研究价值。此外，本文引入了所谓的"限制性"L2-Boosting算法。该算法坚持使用先前选择的变量集合，优先利用这些变量包含的信息，仅偶尔允许向集合中添加新变量。

研究推导了在提前停止策略下限制性L2-Boosting的收敛速率，该速率接近于在没有beta-min条件的近似稀疏高维设置中Lasso算法的收敛速率。同时提出了可行的提前停止规则，这些规则易于实现并可用于实际应用。最后通过模拟研究说明了理论结果的相关性，并提供了关于提升算法实践层面的深入见解。在这些模拟研究中，L2-Boosting明显优于Lasso算法。实证说明和证明过程详见附录。

[摘要][PDF][参考文献]