深度线性网络作为深度学习的简化模型已被广泛研究。然而,对于具有多输出和卷积层的有限宽度架构,目前知之甚少。本文针对此类网络实现了函数的统计特性提供了严格结果,从而更接近完整描述贝叶斯设置中的特征学习。
研究成果包括:
- 基于高斯混合的精确非渐近积分表示,给出输出的联合先验分布
- 在平方误差损失函数(高斯似然)情况下的后验分布解析公式
- 运用大偏差理论对特征学习无限宽度机制进行定量描述
从物理视角看,具有多输出或卷积层的深度架构代表了核形状重整化的不同表现形式。本研究建立了将这种物理直觉和术语转化为严格贝叶斯统计的对应关系。