随机ReLU神经网络与非高斯过程
研究聚焦于一大类参数随机初始化、采用线性整流单元（ReLU）激活函数的浅层神经网络。通过数学证明，这类随机神经网络被定义为严格意义上的非高斯过程。研究过程中发现，这些网络实际上是由脉冲白噪声（随机狄拉克测度的组合）驱动的随机微分方程的解。
核心特性
-
过程参数化：
权重与偏置的分布规律以及输入域有界区域内激活阈值的密度共同参数化这些过程。 -
统计特性：
- 各向同性
- 广义自相似性（Hurst指数为3/2）
- 推导出极简闭式自协方差函数表达式
非渐近视角创新
与先前研究不同，本文采用非渐近方法：
- 输入域有界区域内的神经元数量（即宽度）服从泊松分布，其均值与密度参数成正比。
渐近收敛性
在适当假设下，当期望宽度趋于无穷时：
- 过程可能依分布收敛于高斯过程
- 也可能收敛于非高斯过程（取决于权重分布规律）
该结论既涵盖了经典结果（宽网络收敛于高斯过程），也揭示了新现象（宽网络可能收敛于非高斯过程）。