人工智能与动物智能中遗忘的重要性

深度神经网络（DNN）以接近人类水平的表现席卷AI研究领域，从语音识别到图像目标检测等专业学习任务均有涉猎。据某机构统计，过去四年间工业界对DNN的采用率增长了37%。但DNN如何学习？其包含何种“信息”？这些信息如何表征与存储？学习过程中DNN的信息内容如何变化？

2016年，研究团队开始探索这些问题。为数学化描述问题，需要构建深度网络中“信息”的可行定义。传统信息理论基于克劳德·香农提出的量化信息传输比特数理念，但这属于通信信息度量。当用于衡量DNN权重中蕴含的任务信息量时，该定义会产生退化的无意义值。

这一悖论促使研究者引入更广义的信息拉格朗日量概念——将信息定义为网络层间权重可添加的噪声量与输入输出行为准确性之间的权衡。直观而言，即使网络规模庞大，若能用随机噪声替代大部分计算仍获得相同输出，则说明DNN实际存储的信息量有限。值得注意的是，针对特定噪声模型进行特化后，该定义可还原为香农的原始定义。

随着学习进程推进，人们预期网络权重中的信息量会单调递增：训练越多，学习越多。但权重信息量（下图中蓝线）呈现完全不同的轨迹：首先信息量急剧上升，仿佛网络在尝试获取数据集信息；随后权重信息量下降，如同网络在“遗忘”或丢弃训练数据信息。令人惊讶的是，这种遗忘发生时，学习任务性能（绿色虚线）仍在持续提升！

当研究者向生物学家展示这些发现时，对方并不意外。在生物系统中，遗忘是学习的重要环节。动物大脑容量有限，需要持续遗忘无用信息并巩固有用信息。但DNN本质并非生物系统，先记忆后遗忘的行为本不应存在优势。

研究还揭示了另一项连生物学家都感到惊奇的发现：生物网络会随时间丧失可塑性。若人类在发育关键期未学习某项技能（如视觉或语言），其学习该技能的能力将永久受损。例如童年期未及时矫正视觉缺陷可能导致终身弱视。关键学习期在动物界尤为显著，如鸟类学习鸣叫的能力培养。

研究者重复了神经科学先驱休伯尔和威泽尔的经典实验：在训练初期对DNN实施“视觉剥夺”（模糊训练图像），随后用清晰图像训练。发现初期缺陷会导致永久性准确率损失，无论后续进行多少额外训练。

DNN与生物系统同样表现出关键学习期。若在“信息获取阶段”干扰数据，网络会陷入不可恢复状态；而在关键期后改变数据则无影响。通过“人工神经记录”测量神经元间信息流发现：关键期内层间信息流动具有流动性，但后期会固定化。DNN表现出某种“信息可塑性”而非神经可塑性，这种“遗忘”似乎是学习的本质组成部分。

后续研究中，团队尝试理解人工与生物系统共有的学习动力学。例如Task2Vec方法将学习任务转化为向量，通过权重信息量计算任务间距离。该技术已应用于某中心的图像识别服务，客户提供少量样本图像即可训练模型检测新图像中的目标。

人工智能仍处于萌芽阶段，该领域提出的深度智力问题令人振奋。对于正值衰老开始遗忘的人们而言，或许可欣慰地意识到：我们仍在持续学习。