误差估计和自适应调参：非正则化鲁棒M估计器研究

摘要

考虑高斯设计和重尾噪声下的线性模型非正则化鲁棒M估计器，在样本量n和特征数p满足p/n→γ∈(0,1)的比例渐近状态下进行研究。分析了一个鲁棒M估计器的样本外误差估计量，并证明其对包含Huber损失在内的大类损失函数具有一致性。

作为该结果的应用，提出了一种针对给定损失函数ρ的尺度参数λ>0的自适应调参方法：在给定区间I内选择最小化M估计器样本外误差估计值的λ̂，该M估计器由损失ρλ(·)=λ²ρ(·/λ)构造，从而获得在I区间内的最优样本外误差。

证明依赖于平滑化论证：将非正则化M估计目标函数用逐渐消失的Ridge惩罚项进行扰动或平滑，表明所研究的非正则化M估计器继承了其平滑版本的特性。