联邦学习系统概述
联邦学习（FL）是一种允许边缘设备（如智能语音设备）在保持用户数据本地化的前提下协同训练全局模型的框架。标准FL系统包含云服务器和多个客户端（设备），每个设备持有本地数据及机器学习模型的本地副本。在每轮FL训练中：云服务器向客户端发送当前全局模型；客户端使用设备端数据训练本地模型并上传至云端；服务器聚合本地模型并更新全局模型。FL还包含个性化分支，旨在定制本地模型以提升其在本地数据上的性能。
数据异构性挑战与解决方案
现实应用中，不同客户端的本地数据集常存在分布异构性。在第36届神经信息处理系统大会（NeurIPS）上发表的论文表明，考虑这种异构性的训练流程可提升联邦学习中本地与全局模型的效率和精度。
研究提出两种新型异构性度量指标：
- 客户端内不确定性：描述本地模型随时间变化的差异
- 客户端间不确定性：表征相同时段内不同用户本地模型的差异
客户端间不确定性越大，边缘设备间数据分布异构性越强，个性化越重要；客户端内不确定性越大，本地模型参数在FL训练轮次间的波动越显著。基于此，方法通过两种不确定性值调整本地训练配置和FL聚合规则。
Self-FL方法的核心创新
该方法基于贝叶斯分层模型理论分析，将不确定性度量与三个本地配置因素关联：
- 本地初始模型：作为本地模型训练的起点
- 学习率：决定单次训练样本对网络权重的影响程度
- 早停规则：防止过拟合的训练终止机制
实践中通过参数优化过程中的方差估计不确定性，此为首次将个性化FL与分层建模结合，并利用不确定性量化驱动个性化。
自适应聚合规则
传统FL算法通常按本地数据集大小加权聚合本地模型，而Self-FL采用基于贝叶斯分层建模的自适应聚合规则：将全局模型参数视为统计模型的"根"。当本地训练数据与全局平均值偏差越大，模型对该数据的响应应越强；本地模型参数优化不确定性越高，其在全局模型更新中的权重越低。
实验验证与效益
在涵盖图像和音频的7个数据集上对比7种FL算法，Self-FL在全局和本地模型上均保持最高精度。该方法通过双重机制提升边缘设备模型精度：直接优化本地模型对预期数据类型的适应性，间接提高分发给所有客户端的全局模型准确性。实证结果表明，相较于现有FL方案，Self-FL显著提升边缘客户端性能，有望通过增强设备对用户特定需求的响应性改善用户体验。