论文分享｜联邦学习系统攻击与防御技术研究综述

论文名称：联邦学习系统攻击与防御技术研究综述

论文来源：计算机学报

论文作者：高 莹,  陈晓峰,  张一余,  王玮, 邓煌昊, 段培, 陈培炫 

论文链接：http://cjc.ict.ac.cn/online/onlinepaper/gy-202396140306.pdf

在联邦学习的不同阶段会受到不同的安全威胁和隐私威胁。在数据收集阶段，受到的安全威胁包括数据投毒攻击（Data Poisoning Attack）、女巫攻击（Sybil Attack）和搭便车攻击（Free-riding Attacks），隐私威胁包括样本 ID 隐私泄露。

在训练阶段，受到的安全威胁包括模型投毒攻击（ModelPoisoning Attack）、针对通信瓶颈（Communication Bottlenecks）的攻击和搭便车攻击，隐私威胁包括推理攻击（Inference Attack）。

在推理阶段，会受到的安全威胁包括对抗样本攻击，隐私威胁包括模型提取攻击（Model Extraction Attack）和推理攻击。

为了预防联邦学习的常见攻击，并提升联邦学习鲁棒性，常见的防御手段有以下几种：

1. 数据消毒：数据消毒（Data Sanitization）是指对有害的、 异常的数据进行清理，是针对数据投毒攻击的防御通用方法。

2. 鲁棒性聚合：在经典联邦学习框架下，服务器的聚合方案是 联邦学习架构的核心部分。2017 年，McMahan 和 Ramage 1首次提出了实现多用户分布式训练的 FedSGD 算法，不泄露本地数据，仅将中间梯度发送给服务器。随后的研究为了减少用户与服务器 之间的通信量提出了 FedAvg 算法，选择直接上传 多轮本地训练的模型，并取平均值作为全局模型。

3. 异常检测：异常检测（Anomaly Detection）旨在使用统计和分析方法对模型的训练模式、数据集或相关事件进行甄别，若检测到不符合预期的模式、异常行为 或异常数据，则系统会预警并做出反应措施。目前异常检测模型主要集中对系统中的客户端异常检 测和数据异常检测两个方面的研究。

4. 对抗训练：对抗训练（Adversarial Training）是指在模型训练的过程中加入微弱扰动，以提高系统鲁棒性的防御方式。传统对抗训练攻击方法大多应用于集中的机器学习框架下，并且主要关注对抗训练数据 的生成。

5. 知识蒸馏：在不同模型训练场景中，若想实现更好的预测 结果，往往会选择集成许多较弱模型，但这样会导 致更大的计算量和更多的资源空间占用。知识蒸馏 （Knowledge Distillation）作为模型压缩技术之一， 就是将大模型相关知识逐步传递到小模型中，并从大模型学到的知识中学习有用信息来指导小模型训练，使小模型具备和大模型相当的性能。在 需要频繁交换训练信息的联邦学习中，知识蒸馏可以有效地降低通信开销、节省存储空间和降低参数冗余，从而防御针对通信瓶颈的攻击。

6. 剪枝：剪枝（Pruning）技术也是一种模型压缩技术， 可以在用户的计算能力和通信带宽相对较低的情况下，将联邦学习模型的大小进行修剪，降低模型 复杂度和提高精度。

7. 其他方法：此外，还有一些其他的鲁棒性提升方法。例如， PDGAN用 GAN 生成测试数据集，用于识别数据 投毒攻击，通过不断改变部署策略从而增加攻击成 本 和 复 杂 度 的 移 动 目 标 防 御 （ Moving Target Defense），对原始数据进行随机化处理，使用梯度正则化防止过拟合，以及基于GAN的防御等。

联邦学习中的攻击和防御发展尚不成熟，仍然存在很多问题亟待解决，其中以下四类问题值得进一步地研究。

1. 攻击检测与模型评估研究：联邦学习的迅速发展势必会带来多样化形式的安全与隐私威胁。数据用户可能会主动或被动的从诚实状态转变为恶意状态，模型训练过程中操作处理也可能会受环境因素发生异常，这些问题往往会严重影响系统性能。

2. 完善的安全攻防体系研究：由于现有的联邦学习协议还未发展成熟，相应的体系还不够完善，仅仅依靠现有的防御手段无法 预防未来未知的攻击威胁。若系统面对一种全新或 特殊的攻击威胁，没有提前预备方案，即无法满足已成型的技术产品安全需求；同时，若系统面对混合多种攻击的安全威胁，仅依靠传统的单一解决方案，也很难达到有效的防御效果。

3. 纵向联邦学习安全及隐私研究：现有的联邦学习安全及隐私的研究，尤其在安 全威胁及防御方面，主要集中在横向联邦学习场景下，而在纵向联邦学习场景中模型训练与部署更加复杂，相关的研究还非常少。

4. 兼顾鲁棒性和隐私性的联邦学习研究：鲁棒性与隐私性是联邦学习系统在实际应用 中需要考虑的两个维度指标，两者缺一不可。然而鲁棒性提升与隐私性增强之间存在矛盾，例如很多隐私保护手段试图尽量减少不同用户梯度信息的 差异，而这常常会阻碍一些鲁棒性提升方法对异常数据的识别。