异构数据下顺序联邦学习的紧致收敛界

联邦学习（FL）存在两种范式：并行联邦学习（PFL），其中模型在客户端间并行训练；顺序联邦学习（SFL），其中模型按客户端顺序依次训练。具体而言，在PFL中，客户端独立执行本地更新并将更新后的模型参数发送到全局服务器进行聚合；在SFL中，一个客户端仅当接收到序列中前一个客户端的模型参数后才开始其本地更新。

与PFL相比，SFL在异构数据上的收敛理论仍属空白。为解决SFL的理论困境，本文建立了异构数据下SFL的紧致收敛保证，包含上界和下界。具体而言，推导了强凸、一般凸和非凸目标函数的上界，并构建了强凸和一般凸目标函数的匹配下界。随后，将SFL的上界与PFL进行比较，表明SFL在异构数据上表现更优（至少当异构程度较高时）。实验结果验证了这一反直觉的理论发现。

[abs][pdf][bib] [code]