论文分享｜Infedge：端-边-云通信中基于区块链的分层联邦学习激励机制
论文名称：InFEDge: A Blockchain-Based Incentive Mechanism in Hierarchical Federated Learning for End-Edge-Cloud Communications
论文来源：IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS
论文作者：Xiaofei Wang, Yunfeng Zhao, ChaoQiu, ZhichengLiu, Jiangtian Nie, and Victor C. M. Leung
论文链接：https://ieeexplore.ieee.org/document/9919199
研究背景和主要贡献
通信和网络技术的进步推动着计算模式向端-边-云协同架构发展，以利用无处不在的数据和资源。与中心式智能相反，分层联邦学习( Hierarchical Federation Learning，HFL )在保留联邦学习( Federation Learning，FL )隐私保护优势的同时，缓解了过重的通信开销，具有高带宽、计算资源丰富等优势。HFL框架中有着难以平衡系统开销和模型性能的问题，可以通过引入激励机制来解决。虽然激励机制可以通过补偿相关参与者来缓解上述焦虑，但多维属性、不完全信息和不可靠参与者的一些局限性会显著降低所设计机制的性能和效率。针对上述局限性带来的挑战，本文提出了HFL中基于区块链的激励机制InFEDge。
为了应对多维个体属性、不完全信息、不可靠参与者的挑战，本文设计并实现了基于区块链的激励机制InFEDge，以验证参与者估值最大化的能力，并保证公平性。本文的主要贡献如下。
提出了一种基于博弈的激励机制，在存在多维个体属性的情况下，对客户端、边缘服务器和云的合理性进行建模。
将激励问题转化为分层契约问题，得到多维个体属性不完全信息下的最优解。引入区块链实现智能合约中的激励机制，为系统提供可信、快速、透明的环境。
在一个带有真实轨迹的概念验证测试平台上评估InFEDge，以展示机制的优越性，例如，In FEDge在云端和客户端的效用分别比基线高21.2 %和32.6 %。并且还使用它来解决一个真实世界的用户分配问题，以用于未来的通信和网络。
系统概述
A. 系统结构
下图为系统方案的结构设计：
1 )云：云在HFL中发布一个训练任务，其目的是获得一个令人满意的模型性能并赚取相应的奖金。
2 )边缘服务器：存在一组边缘服务器L，其中每个边缘服务器l∈L都与一组客户端Sl相连。假设每个客户端都连接到一个边缘服务器，并且在训练过程中保持不变。
3 )客户端：有一组客户N，他们期望使用他们的数据来协作学习一个全局模型。每个客户端n∈N连接到边缘服务器μ(n)。
4 )区块链: 实现了计算范式从集中控制到分布式控制的转变，同时它永久记录相关信息(例如,多维个体属性)和双方之间的交易，而不需要第三方认证。
完全信息下的激励机制
A. 客户端子博弈中的最优策略
每个客户的最优策略是求解如下效用优化问题，|Xn| 表示客户端n的数据集大小.：
通过计算效用客户端n效用函数关于xn的一阶和二阶导数。可证明：
由于效用函数的二阶导数不小于零，客户的效用在所有的xn中都是凹函数。因此，客户端的数据贡献子博弈中存在一个纳什均衡点。如果给定边缘服务器l的策略Rl 和其他客户端的策略x-n，客户端n最优策略可以通过设置一阶导数为零得到，如下表示：
B.边缘服务器子博弈中的最优策略
在给定客户端最优策略的情况下，边缘服务器通过平衡客户端的计算性能和成本来决定客户端的收益。这就需要求解如下的优化问题：
根据客户端提供的最优策略x*n，n∈Sl，边缘服务器l需要确定策略Rl以最大化其效用。通过证明边缘服务器的效用函数是严格凹的。令效用的一阶导数为零，可以得到其最优策略。
C. 云端子博弈中的最优策略
为求得云端最优策略就要求求解如下的最优化问题：
根据云端效用函数的的凹性质，可以通过如下方程推导出云P*的最优策略：
D. 基于区块链的HFL激励机制过程
区块链赋能激励的HFL过程如下图所示。首先，参与者在执行每一轮HFL任务前达成一致。其次，参与者根据激励机制给出的策略进行训练或聚合。第三，云从评估全局模型性能中获得收益。
参与者之间的所有博弈结果都是通过预定义的智能合约以交易的形式在区块链上实现的。由于区块链中的交易隐私，参与者的身份和相关数据(例如,多维个体属性)无法被泄露。在完成一轮HFL任务后，客户端的数据质量可以及时更新，因为每个客户端都可以测量模型的局部精度，并计算数据质量的值。
不完全信息下的激励机制
HFL框架中的参与者存在以下不完全信息问题：1 )由于缺乏先验知识，高层不知道下层的哪些参与者愿意加入模型训练。2 )下层的个体属性，如本地数据质量、参与意愿等对上层是未知的。3 )高层不知道可用的计算量、通信资源或用于低层模型训练的数据量。因此，在向下层提供激励时，可能会遭受过多的成本。因此，在多层框架中设计一种有效的激励机制来降低多层不完全信息的影响是非常必要的。
A. 边缘客户层的最优契约设计
契约可行性条件：一个可行的契约可以吸引客户参与HFL任务，并消耗边缘服务器l提供的所有收益。此外，它需要确保每个客户只选择为其类型设计的合同项目。特别地，需要保证如下的个体理性和激励相容约束。
个体理性(IR)：每个客户端只有在其效用非负的情况下才选择承担其合同项。
激励相容(IC)：客户端必须优先选择专门为自己类型而设计的合同条款，而不是任何其他合同条款。
IR约束为客户端签订合同提供了必要的激励。IC约束要求客户只通过选择为自己类型设计的合约项来最大化其效用，最优契约就是下面优化问题的解：。
B. 边缘客户层的最优契约解决方案
通过对上述约化问题进行一系列转化可得到：
对上述目标函数求关于xn二阶偏导数，可以很容易地得出结论，二阶偏导数小于0 .因此，它是关于xn的凹函数.取上述目标函数的一阶偏导数，根据费马原理，可得到xn的最优解。相应的，边缘服务器最优策略也可以带入相应得到。
C.云边层中的最优契约问题
相应的最优契约就是下面优化问题的解。
所提出的HFL中激励机制的分层契约博弈问题被转化为分别在云边层和边缘客户端层的两个最优合同问题。两个最优契约博弈不断迭代，直到系统中的所有策略收敛到一个固定值。同样，博弈结果将被发送到区块链平台，在区块链平台上执行相应的交易。
实验结论
A. 实验设定
本文在概念验证平台上进行了实验。通过WiFi和以太网连接10台嵌入式设备和2台GPU服务器。在实验中，我们假设HFL系统由1个云、5个边缘服务器和多达100个客户端组成。实验中的一些客户端运行在真实的嵌入式设备上，例如. Nvidia Jetson Xavier Nx和Nvidia Jetson Nano。我们利用GPU服务器的多线程编程来模拟聚合操作和其余客户端的训练过程。训练和通信过程使用PyTorch和web微观框架Flask.1实现。
将以下三个用于图像分类的数据集作为HFL实验数据集：a ) MNIST是一个手写数字数据集，其中每个样本是28 × 28的灰度图像。b ) Fashion - MNIST是一个布料数据集，其中样本的格式与MNIST相同。c ) CIFAR - 10是一个通用对象数据集，其中每个样本是32 × 32的RGB图像。主要展示了在MNIST上的实验结果，并在其他数据集上获得了类似的结果。以上三个数据集每个数据集至少有50000个样本，足以满足评估要求。
B. 多维个体属性的影响
如下图所示，云效用的增加速度趋于放缓，即客户端数量对云效用的影响在减小。左图显示，因为高质量的客户数量较少，导致效用较低。右图显示随着数据质量的提高，云效用的增加。
C.与基线的性能比较
下图比较了InFEDge与一些基线机制，包括理性机制和非理性机制。理性机制(随机客户端、贪婪客户端和固定客户端)选择随机客户端、全部客户端和半数客户端参与游戏和训练，与InFEDge的设计仅在用户选择上有所不同。非理性机制(随机, 贪婪, 固定)要求随机的客户端贡献随机的数据，所有的客户端贡献全部的数据，一半的客户端贡献一半的数据，而不考虑客户端或边缘服务器的自私性和合理性。
有趣的是，除了边缘服务器(平均降低27.5%)外，InFEDge在云端和客户端(分别平均高出21.2%和32.6%)方面比其他理性机制具有更高的效用。
D.偏离纳什均衡的影响及不完全信息下的表现
如下图所示，迫使云的单位服务价格P上升超过纳什均衡值仅提供了模型性能的小幅提升。相比之下，它对云端的策略削减更为敏感。进一步，右图中给出了不完全信息下激励机制的可行性。
E.完全信息与不完全信息的性能比较
如下图所示，对于一定数量的客户端，云服务器和边缘服务器在不完全信息下的效用高于完全信息(分别平均高出2.65%和5.13%)下的效用。
Infedge用于5G资源优化的用例
本文还用来解决一个现实世界的用户分配问题，用于未来的通信和网络。随着移动设备的爆炸式增长，网络面临着巨大的数据传输压力。如何在5G场景下降低通信时延、提高通信效率已成为研究的热点问题，其中出现的用户分配问题的端-边-云协同架构与本文相似。考虑到常见的网络问题，如网络拥塞、数据隐私等，在云端训练模型是不可行的。实现分布式训练的一种实际解决方案是将数据存储在BS并使用FL框架。此外，大量微型基站在地理上分散在网络边缘，通过远距离传输连接到远程云端，通信成本高，网络拥塞严重，训练延迟。因此，应用HFL框架协同训练DRL模型是一种可行且有效的方法。
为了展示本文工作在真实用例中的表现和优越性，本文将其与Random方法和Greedy方法进行了比较。在Random算法中，BS随机行动，而在贪婪算法中，BS仅根据当前状态选择最佳行动，不考虑对历史或未来状态的影响。如下图所示，在训练初期，InFEDge方法得到的时间比Greedy和Random方法平均少26.2%和65.8%。
总结
本文研究了HFL在端-边-云协同架构下的激励机制设计问题。提出了基于区块链的激励机制In FEDge，以应对个体属性多维、信息不完全和参与者不可靠的挑战。此外，本文方案实现基于区块链，防止不可靠参与者的干扰，进一步确保隐私，并提供可信和透明的环境。实验结果展示了InFEDge相对于基准方案的优越性，以及用于解决实际问题的实用性。
本文来源： SEUUNiS
分享仅供学习参考，若有不当，请联系我们处理。