个性化联邦学习提升客户体验

联邦学习（FL）是一种允许边缘设备（如智能音箱）在保持客户数据本地化的前提下协作训练全局模型的框架。标准FL系统包含云服务器和多个客户端（设备），每个设备拥有本地数据和机器学习模型的本地副本。

在每轮FL训练中：

1. 云服务器向客户端发送当前全局模型
2. 客户端使用设备端数据训练本地模型并上传至云端
3. 服务器聚合本地模型并更新全局模型

FL还包含个性化分支，旨在定制本地模型以提升其在本地数据上的性能。

数据异构性的挑战

在实际应用中，不同客户端的本地数据集往往存在分布异构性。在NeurIPS 2022会议上发表的研究表明，考虑这种异构性的训练程序能同时提高联邦学习中本地和全局模型的效率与准确性。

研究提出两个新的异构性度量指标：

1. 客户端内不确定性：描述本地模型随时间变化的差异
2. 客户端间不确定性：表征相同时段内不同用户本地模型的差异

客户端间不确定性越大，边缘设备间的本地数据分布越异构，个性化越重要；客户端内不确定性越大，本地模型参数在FL训练轮次间的变化越大。

Self-FL方法的核心创新

基于贝叶斯分层模型的理论分析，研究团队提出Self-FL方法，将两个不确定性度量与三个本地配置因素相关联：

1. 本地初始模型：作为本地模型训练的起点
2. 学习率：决定单个训练样本对网络权重的影响程度
3. 早停规则：确定何时停止训练以防止过拟合

在实际应用中，通过参数优化过程中的方差估计来量化不确定性指标。

自适应聚合规则

与传统按数据集大小加权聚合的方式不同，Self-FL采用基于贝叶斯分层建模的自适应聚合规则：

• 本地模型训练数据与全局平均值偏差越大，对该数据的训练响应越强
• 本地模型参数优化不确定性越高，在更新全局模型时的权重越低

实验验证

在涵盖图像和音频数据的七个数据集上，与七种现有FL算法对比表明：

• Self-FL在全局和本地模型上均保持最高准确率
• 通过更好地适配设备可能遇到的数据类型，直接提升个性化模型准确性
• 通过分发给所有客户端的全局模型优化，间接提高整体性能

该方法有望通过使设备更精准响应客户特定需求，显著提升用户体验。

图示说明：联邦学习系统中各边缘设备拥有本地模型，定期与云服务器通信更新共享全局模型。个性化分支通过定制本地模型提升其在本地数据上的性能。