论文分享｜边缘计算中使用数据和模型并行加速联邦学习

在现代以云为中心的应用程序中，在终端设备上生成的数据总是被导入到云服务器或数据中心中以进行管理和分析。据报道，到2025年，全球将有754.4亿物联网（IoT）设备，每年这些设备将产生超过847个ZB数据。因此，将所有数据从设备传输到集中式云通常是不切实际和不必要的，这促进了边缘计算的发展，边缘计算旨在本地存储数据，并将更多的计算能力推到终端设备上进行数据处理。为了从分布式数据中挖掘和发现有价值的知识，许多深度学习技术已被应用于边缘计算中，形成了一个与边缘智能（edgeAI）相关的新的研究方向。

联邦学习作为边缘智能中一种新兴和流行的技术，被提出通过边缘节点（如终端设备或边缘设备）以数据并行的方式协作来训练全局模型。在参数服务器（PS）的协调下，参与的客户端定期在自己的数据集上进行本地训练深度学习模型，并在不公开原始数据的情况下将模型推送到参数服务器中进行全局聚合。通过利用联邦学习，谷歌可以持续地以这种隐私优势的方式改善Gboard应用程序的用户体验。为了提高边缘人工智能应用的性能，提高深度学习模型的参数是常见和有效的。然而，由于CPU和内存的硬件限制，资源有限的边缘节点训练大规模模型是困难的。此外，节点与参数服务器之间的大规模模型传输可能会导致显著的通信延迟，并且侵犯模型的隐私。

为了减轻资源受限边缘节点的计算/通信负担，并更好地保护模型隐私，集成数据并行和模型并行的分裂联邦学习（SFL）被提出。分裂联邦学习与联邦学习一样，在生物学、临床医学、基因组学和公共卫生领域已经有了广泛的应用。分裂联邦学习将整个模型拆分为两个子模型，即底部模型和顶部模型。底部模型主要在边缘节点本地进行训练，而顶部模型在参数服务器上进行训练。与典型的联邦学习不同，在分裂联邦学习中，只有底部模型和分裂层表示（也称为粉碎数据，中间结果）以及梯度在节点和参数服务器之间进行交换。由于它们的尺寸比整个模型的尺寸要小得多，因此通信负载将被显著释放。例如，一个8层的AlexNet的大小约为136MB，而在第五层分裂AlexNet时，它的底部模型和中间结果（批处理大小为64）的大小分别约为9MB和1MB。考虑到节点只能访问部分模型，而原始数据仍在本地处理，用户和模型的隐私将得到有效的保护。此外，将顶部模型的训练转移到相对资源较丰富的服务器上，将减少节点的计算负荷，有助于以这种模型并行的方式有效地训练更大规模的模型。

然而，除了资源的限制之外，在实际应用中还应考虑到其他两个关键特性。1)系统异质性。它通常涉及到在EC系统中具有不同能力的异构节点。由于系统的异质性，快速的节点可能不得不等待存在同步障碍的慢速的节点（即掉队者），这导致了不可忽视的等待时间，降低了训练效率。2)上下文动态。由于内在条件和外部条件（即上下文），如环境温度、CPU状态、与参数服务器的网络连接等，在训练期间，每个节点的计算时间和通信时间可能会有显著变化。虽然隐私泄漏同样是一个重要的挑战，但本工作我们主要关注在资源有限的边缘计算系统中系统异构性和上下文动态的挑战，正交与隐私泄漏的研究，并且现有在隐私保护方面的工作可以应用于我们的工作。

现有的分裂联邦学习的工作主要集中在如何在资源有限的节点上训练一个大规模的深度学习模型。SplitFed首先证实分裂联邦学习的可行性，并在每次迭代后聚合底部模型，导致了网络流量消耗较高。LocSplitFed利用辅助网络使用局部梯度更新底部模型，显著降低了流量消耗，提高通信效率。但是，LocSplitFed中的辅助网络不能在每次迭代时更新顶部模型，导致收敛时间增加。虽然还有相关工作提出在不汇总底部模型的情况下减少流量消耗，加速训练，但这些工作牺牲了模型的准确性，没有理论保证。LocFedMix-SL作为一种先进的解决方案，实现了在固定的本地更新频率下进行模型训练，但不能充分利用异构边缘节点的能力。此外，上述所有工作都为异构节点分配了固定和相同的批处理大小，由于系统的异构性和上下文动态，导致了较长的训练延迟。

在本文中，我们深入研究了控制本地更新频率和批处理大小的好处，以充分克服上述挑战。与之前的工作不同，我们探索了自适应地在每个聚合轮中调整本地更新频率，以减少资源消耗，并为异构节点分配不同的批处理大小，以消除同步障碍带来的空闲等待时间。一般来说，具有较高计算和通信能力的节点将被分配到较大的批处理规模。此外，根据我们的理论收敛分析和实验预测试，相对较小或较大的本地更新频率会导致更多的训练时间或更低的模型精度。因此，同时确定不同节点的批处理规模和本地更新频率来更好地提高资源约束下的训练效率具有极大的挑战性。本文的主要贡献总结如下：

• 我们设计了一种高效的分裂联邦学习方法，称为AdaSFL，它集成了批处理规模和本地更新频率的自适应控制，以解决资源约束的边缘计算系统中系统异构性和上下文动态性的挑战。
• 我们从理论上分析了模型的收敛速度，得到了给定批处理大小下关于本地更新频率的收敛上界。在此基础上，我们开发了一种控制算法来确定异构节点的不同批处理规模和自适应的本地更新频率，从而更好地提高训练效率。
• 我们通过广泛的实验来证明了AdaSFL的性能。实验结果表明，与基线相比，AdaSFL可以减少约43%的完成时间，并减少约31%的网络流量消耗，以达到相似的测试精度。