联邦学习中的持续学习技术突破

技术背景

联邦学习是一种分布式设备在无需传输本地数据的情况下共同训练全局机器学习模型的技术，既能减少网络流量又能保护数据隐私。持续学习是指随着新数据不断更新模型的过程，关键在于避免"灾难性遗忘"——即新数据更新覆盖现有设置导致旧数据性能下降的问题。

在某中心于自然语言处理实证方法会议（EMNLP）发表的论文中，提出了一种结合两种技术的新方法，通过改进的持续联邦学习机制提升性能。

核心创新在于数据样本保留选择程序，提供两种变体：

通过最大化梯度多样性确保样本信息多样性。梯度作为多维空间中的方向，选择梯度总和接近零的样本可实现最大多样性。该问题可表述为在存储预算N内分配系数（1或0），使梯度总和尽可能接近零。

由于这是NP完全问题，提出松弛要求：系数总和仍为N，但允许系数为分数值，转化为计算可处理问题。最终选择系数最高的N个样本。

在对比三种先前采样策略的实验中：

协调方法在本地和全局梯度求和间交替进行：

实验表明，单次迭代即可实现接近零的全局总和。最终各设备选择系数最大的N个样本。