Instability, Computational Efficiency and Statistical Accuracy

Nhat Ho, Koulik Khamaru, Raaz Dwivedi, Martin J. Wainwright, Michael I. Jordan, Bin Yu; 26(65):1−68, 2025.

摘要

许多统计估计器被定义为数据依赖算子的固定点，其中基于最小化成本函数的估计器是重要特例。此类估计器的极限性能取决于在无限样本理想化极限下总体水平算子的性质。开发了一个通用框架，该框架基于算法在总体水平上的确定性收敛速率与其应用于基于n个样本的经验对象时的（不）稳定程度之间的相互作用，给出统计精度界限。

使用该框架，分析了梯度下降的稳定形式以及一些高阶和不稳定算法，包括牛顿法及其立方正则化变体，以及EM算法。将通用结果应用于几个具体模型类别，包括高斯混合估计、非线性回归模型和信息性无响应模型。展示了不稳定算法在指数级更少步骤中可实现与稳定算法相同统计精度的情况——即迭代次数从样本量n的多项式减少为对数级。

[abs][pdf][bib]

© 某机构 2025.