探索神经网络:从ADD/XOR/ROL到ReLU激活模式与深度网络多面体

本文分享了作者为深入理解神经网络而进行的实验,并列出四篇关键论文,涵盖深度神经网络作为样条、ReLU网络的激活模式及深度ReLU网络的简单多面体结构等主题。

在之前的博客文章(此处、此处和此处)之后,一位朋友向我推荐了一些文献,我现在将开始阅读 :-)。我的阅读清单包括以下论文:

  1. https://proceedings.mlr.press/v80/balestriero18b.html - Randall Balestriero 关于深度神经网络作为样条的论文。
  2. https://arxiv.org/abs/1906.00904 - ReLU 网络具有 surprisingly few activation patterns(2019)。
  3. https://arxiv.org/abs/2305.09145 - 深度 ReLU 网络具有 surprisingly simple polytopes(2023)。
  4. https://www.frontiersin.org/journals/big-data/articles/10.3389/fdata.2023.1274831/full

等我读完所有这些论文后,我会再写更多博客。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计