自分类MNIST数字:神经细胞自动机的分布式协调

本文探讨了如何使用神经细胞自动机实现MNIST数字的自分类,通过局部通信达成全局共识,展示了分布式协调在机器学习任务中的应用及其生物学启示。

摘要

每个像素类似于一个生物细胞,自主决定颜色并与邻近细胞通信。整个细胞群体的目标是就它们组成的全局形状达成一致。

使用方法

点击或触摸画布与细胞交互。按下不同数字加载或重新采样,按下垃圾桶清除画布。

速度与调色板

  • 速度:1/10倍(3步/秒)
  • 笔刷大小:2像素
  • 调色板:0度

模型

本文使用《生长的神经细胞自动机》中描述的模型变体。关键差异包括:

  1. 目标标签:将最后10个通道作为伪分布处理,选择最高值通道对应的标签。
  2. 活细胞与状态:根据输入像素值(>0.1)判定细胞活性,仅活细胞参与计算。像素值作为不可变通道暴露给细胞。
  3. 感知:使用可训练的3x3卷积核替代固定Sobel滤波器。

实验1:自分类、持久性与突变

训练过程中随机替换数字,迫使细胞适应新形状。使用像素级交叉熵损失,细胞需从突变中恢复分类能力。结果显示多数细胞能正确分类,但部分细胞出现振荡现象。

实验2:稳定分类

引入L2损失和残差更新噪声(标准差2×10⁻²)以改善稳定性。相比交叉熵,L2+噪声模型在200步后总一致率达88%,内部状态幅度更稳定。

鲁棒性

  1. 交互适应性:CA能实时重新分类用户修改的数字(如6改为8)。
  2. 分布外泛化:对非MNIST手写数字表现部分容错,但对某些变体(如特定1和9的写法)分类失败。
  3. 尺度不变性:对一定范围内的缩放数字保持分类能力。
  4. 嵌合体行为:3-5嵌合体中3占主导,8-9嵌合体形成振荡吸引子。

讨论

  • 生物学启示:细胞集体通过局部通信实现全局形态识别,为再生医学提供新思路。
  • 计算意义:展示了小规模(<25k参数)自组织模型在分类任务中的潜力。
  • 未来方向:探索更大模型和多样化数据集对性能的影响。

实现细节

  • 交互演示:基于TensorFlow.js构建,支持实时重分类。
  • Colab笔记本提供完整实验复现和模型配置选项。

致谢

感谢Zhitao Gong等人在模型设计和文稿修订中的贡献。

comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计