摘要

随机优化方法在流数据领域面临新的挑战，这些数据具有持续流动、大规模和高维度的特点。虽然一阶方法（如随机梯度下降）是处理此类数据的自然选择，但它们往往难以应对病态条件问题。相比之下，二阶方法（如牛顿法）提供了潜在的解决方案，但在大规模流应用中计算成本过高。本文提出了自适应随机优化方法，能在流数据环境下有效解决病态条件问题。具体而言，我们提出了计算复杂度与一阶方法相同（O(dN)，其中d为维度/特征数，N为数据点数）的自适应免逆随机拟牛顿法。理论分析证明了其渐近效率，实证研究表明其在复杂协方差结构和不良初始化场景中的有效性。特别地，我们证明自适应拟牛顿法可以优于或匹配现有的一阶和二阶方法。