SGD批量大小对自编码器学习的影响：稀疏性、锐度与特征学习
摘要
本研究探讨了在正交数据上训练具有线性或ReLU激活函数的单神经元自编码器时，随机梯度下降(SGD)的动态特性。研究表明，对于这一非凸优化问题，使用恒定步长的随机初始化SGD能够在任何批量大小设置下成功找到全局最小值。然而，所找到的具体全局最小值取决于批量大小的选择。
在全批量设置中，研究显示解决方案是密集的（即非稀疏的），并且与其初始化方向高度对齐，表明相对较少的特征学习发生。另一方面，对于任何严格小于样本数量的批量大小，SGD找到的全局最小值是稀疏的，并且几乎与其初始化方向正交，表明随机梯度的随机性在此设置中诱导了质的不同类型的"特征选择"。
此外，如果通过Hessian矩阵的迹来测量最小值的锐度，全批量梯度下降找到的最小值比严格较小批量大小找到的最小值更平坦，这与先前认为大批量会导致更尖锐最小值的研究形成对比。为了证明恒定步长SGD的收敛性，研究引入了非齐次随机游走理论中的一个强大工具，这可能具有独立的研究价值。
研究方法
研究采用理论分析和实验验证相结合的方法，重点考察：
- 不同批量大小下的优化轨迹
- 解决方案的稀疏性特征
- Hessian矩阵迹值的计算与比较
- 特征学习程度的量化分析
主要发现
- 批量大小影响解决方案特性：全批量训练产生密集解，而小批量训练产生稀疏解
- 特征学习差异：小批量设置下观察到更显著的特征选择现象
- 锐度特性：与常规认知相反，大批量训练产生更平坦的最小值
- 收敛保证：通过非齐次随机游走理论提供了恒定步长SGD的收敛性证明
理论贡献
本研究的主要理论创新在于引入了非齐次随机游走理论工具，为理解SGD在非凸优化中的行为提供了新的理论框架，特别是在批量大小对优化结果影响方面提供了严格的理论保证。
结论
研究结果表明，SGD批量大小不仅影响训练效率，更从根本上改变了所学表示的特性，这对深度学习模型的设计和训练策略选择具有重要指导意义。