随机剪枝过参数化神经网络可提升泛化能力：训练动态分析

摘要

实验观察到，对初始化网络进行随机剪枝后训练稀疏网络，有时能获得比原始密集网络更好的测试性能。本研究首次从理论角度分析该现象，通过构建单隐藏层神经网络的理论最小化场景，证明当剪枝率低于特定阈值时，网络经训练后可获得良好泛化性能。更令人惊讶的是，随着剪枝率适度增大，泛化界限反而会改善。作为补充，研究同时发现存在某个较大剪枝率会使网络训练损失趋零时，泛化性能却退化至随机猜测水平。这表明剪枝会改变特征学习过程，进而影响网络性能。这是首个探讨不同剪枝率如何影响神经网络性能的理论研究，暗示适当剪枝可能提升网络泛化能力。