有限宽度贝叶斯深度线性网络中的特征学习

本文研究了具有多输出和卷积层的有限宽度贝叶斯深度线性网络,提供了输出联合先验分布的确切积分表示、平方误差损失下的后验分布解析解,以及使用大偏差理论描述特征学习的无限宽度机制。

深度线性网络作为深度学习的简化模型已被广泛研究。然而,对于具有多输出和卷积层的有限宽度架构,目前知之甚少。本文针对此类网络实现了函数的统计特性提供了严格结果,从而更接近完整描述贝叶斯设置中的特征学习。

研究成果包括:

  1. 基于高斯混合的精确非渐近积分表示,给出输出的联合先验分布
  2. 在平方误差损失函数(高斯似然)情况下的后验分布解析公式
  3. 运用大偏差理论对特征学习无限宽度机制进行定量描述

从物理视角看,具有多输出或卷积层的深度架构代表了核形状重整化的不同表现形式。本研究建立了将这种物理直觉和术语转化为严格贝叶斯统计的对应关系。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计