赫布记忆增强循环网络:深度学习中的记忆印迹神经元

本文提出了一种新型循环神经网络架构ENN,通过引入显式可微分记忆矩阵与赫布可塑性机制,结合稀疏注意力驱动检索,在MNIST、CIFAR-10和WikiText-103基准测试中实现与传统RNN相当的精度,同时显著提升模型可解释性。

摘要

尽管现有循环网络在多任务中表现成功,但其主要依赖隐式隐藏状态记忆,限制了可解释性和长程依赖建模能力。受生物神经系统中通过赫布突触可塑性强化并稀疏激活的显式关联记忆痕迹(即记忆印迹)启发,本研究提出记忆印迹神经网络(ENN)。该新型循环架构包含具有赫布可塑性的显式可微分记忆矩阵,以及稀疏注意力驱动的检索机制。ENN通过动态赫布痕迹显式建模记忆形成与召回过程,相比传统RNN变体显著提升透明度和可解释性。

评估与结果

在MNIST数字分类、CIFAR-10图像序列建模和WikiText-103语言建模三项基准测试中,ENN的准确率和泛化性能与经典RNN、GRU及LSTM架构基本相当。所有模型在大规模WikiText-103任务中均收敛至相似的准确率和困惑度。同时,ENN通过可观测记忆动力学显著增强可解释性:赫布痕迹可视化揭示了符合生物特性的结构化记忆形成过程,验证了神经科学启发的机制对开发更可解释、鲁棒深度学习模型的潜力。

实验数据

  • 论文篇幅:20页
  • 可视化支持:11张图例,4张数据表
  • 学科分类:神经进化计算、人工智能、信息检索、机器学习、神经元与认知科学
comments powered by Disqus
使用 Hugo 构建
主题 StackJimmy 设计