论文分享｜FedCP: 通过条件策略分离个性化联邦学习的特征信息

近年来，由于人们对互联网的依赖逐渐加强，互联网服务对数据隐私保护的诉求也在逐步增加。联邦学习（FL）作为一种新型分布式机器学习范式，因其具有隐私保护能力而备受关注。它能够在保留数据在本地、只传输模型参数的前提下，进行多客户机协同的人工智能（AI）模型训练。如图2所示，每一轮训练过程中，客户机在接收到上一轮学到的全局模型后，在本地数据上进行模型训练，之后只传输训练好的模型参数到服务器；服务器则负责对收到的客户机模型参数进行全局聚合，得到新的全局模型。这一过程不断迭代，直到全局模型的训练收敛。

图2. 联邦学习过程

然而，在实际场景下，由于各个客户机上数据的异质性，每一轮上传到服务器上的客户机模型参数之间具有较大差异，聚合得到的全局模型无法在单个客户机上具有良好的表现。于是研究者们提出个性化联邦学习方法，将学习全局模型的目标，转变为通过全局模型辅助个性化本地模型训练。如图3所示，我们用多种颜色来表示数据异质性。在数据异质的情况下进行协同训练，既要考虑个性化（用于应对异质性）又要考虑全局性（用于协同训练）。如何把握全局和个性化这两者之间的关系，是设计个性化联邦学习方法的关键。

图3. 个性化联邦学习过程

大多数现有的个性化联邦学习方法，仅仅从模型参数层面对全局信息和个性化信息进行分离和分别利用（见图4），却忽略了模型参数中的信息是从数据中学到的这个事实。

图4：三个经典方法Per-FedAvg[1]，Ditto[2]和FedRep[3]中从模型参数层面利用全局和个性化信息的示意图

虽然每个客户机上的数据是异质的，但异质数据也是在同一个世界中产生的，或多或少都具有一部分全局信息和另一部分个性化信息，例如图5所示。

图5：不同客户机上的异质数据示意图，其中蓝色代表全局信息，紫色和粉色代表个性化信息

由于空间有限，我们这里只展示主要的实验内容。如表1所示，我们的方法FedCP在多种任务、场景和数据集上，都优于SOTA方法，且获得了至多6.69%的准确率提升。

表1：主要实验中图像和文本数据集上的准确率