脚本宝典收集整理的这篇文章主要介绍了Federated Learning via Over-the-Air Computation，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

摘要：新兴高风险智能设备应用（如无人机和智能车辆）对低延迟和隐私的严格要求使得云计算在这些场景中不适用。相反，边缘机器学习对于直接在网络边缘执行训练和推理而无需向集中数据中心发送数据变得越来越有吸引力。这刺激了一个称为联合学习的新兴领域，用于以分布式方式在计算、存储、能量和带宽受限的移动设备上培训机器学习模型。为了保护数据隐私并解决不同设备间不平衡和非IID数据点的问题，通过计算每个选定设备上本地更新模型的加权平均值，提出了用于全局模型聚合的联邦平均算法。然而，有限的通信带宽成为聚合本地计算的更新的主要瓶颈。因此，我们通过研究无线多址信道的叠加特性，提出了一种新的基于空中计算的快速全局模型聚合方法。这是通过联合设备选择和波束形成设计实现的，该设计被建模为稀疏低秩优化问题，以支持高效算法设计。为了实现这一目标，我们为稀疏函数和低秩函数提供了不同的凸函数（DC）表示，以增强稀疏性，并在设备选择过程中准确检测固定秩约束。进一步发展了一种DC算法，用以求解具有全局收敛保证的DC程序。大量的数值结果表明了所提出方法的算法优势和令人钦佩的性能。

I. I NTRODUCTION 数据量的惊人增长促进了广泛的艺术智能应用，如图像识别和自然语言处理[1]，这得益于机器学习（ML）技术特别是深度学习的最新突破，以及前所未有的计算能力[2]。如今，典型的机器学习过程（包括训练过程和推理过程）得到了云计算的支持，云计算是一个集中的云数据中心，具有广泛的计算、存储和整个数据集的可访问性。然而，新兴的智能移动设备和高风险应用，如无人机、智能车辆和增强现实，要求满足低延迟和隐私的关键要求。这使得基于云计算的ML方法不适用[3]。因此，在边缘设备本地拥有数据，然后直接在边缘执行训练/推理，而不是将数据发送到云或网络，这变得越来越有吸引力。这种新兴技术被称为edge ML[4]。主要瓶颈是有限的计算、存储、能源和带宽资源，无法实现移动边缘智能服务。为了解决这个问题，最近有越来越多的工作通过硬件和软件协同设计，使用模型压缩方法来减少推理过程中的存储开销、时间和功耗[5]， [6]. 此外，已经提出了各种先进的分布式优化算法[7]、[8]、[9]、[10]、[11]，以通过利用多个设备上的计算能力和分布式数据来加快训练过程。 最近，一个名为联合学习[10]的新兴领域， [11] ，[12]，[13]，[14]研究了直接在移动设备上进行分布式学习的可能性，以享受更好的隐私和更少的网络带宽。然而，部署联合学习技术会遇到许多挑战。 1） 通过网络收集的非IID数据（即，数据通过不同设备的不同分布生成）对从非IID数据中选择模式提出了重大的统计挑战[11]，[15]。2） 跨移动设备的大型通信负载限制了联邦学习在每个设备上高效地交换本地计算的更新的可伸缩性 [10], [16]. 3） 不同设备之间的计算、存储和通信能力的异构性为驯服设备上分布式训练的延迟带来了独特的系统挑战，例如，掉队者（即运行缓慢的设备）可能会导致显著延迟[8]，[17]。4） 设备的任意对抗行为（例如，拜占庭式故障 [18] ）为大规模分布式学习带来了关键的安全问题，这将导致学习性能的严重下降[19]。5） 与集中数据学习相比，系统实现问题包括设备连接不可靠、执行中断和收敛缓慢 [12]. 特别是联邦平均（FedAvg）算法 [10] 事实证明，这是一种很有希望的方法，可以有效地平均每个设备上的本地更新模型，并使用不平衡和非IID数据，从而减少中心节点和终端设备之间的通信循环次数。 在本文中，我们致力于设计FedAvg算法的快速模型聚合方法，以提高通信效率并加速联邦学习系统。我们观察到，全局模型聚合过程包括从每个设备传输本地计算的更新，然后在中心节点计算它们的加权平均值。我们将提议利用空中计算（AirComp）原理，采用计算和通信协同设计方法实现快速模型聚合[20]。这是通过探索无线多址信道的叠加特性来实现的，以通过并发传输计算分布式本地计算更新的期望函数（即加权平均函数）。尽管AirComp问题从信息理论[20]、信号处理[21]和收发器波束形成设计[22]的角度取得了重大进展，基于AirComp的模型聚合问题带来了独特的挑战，因为我们需要同时最小化功能失真和最大化所涉及设备的数量。这是基于聚集误差可能导致预测精度显著下降的关键观察结果，而使用更多相关设备可以加速训练的收敛[10]，[23]。为了提高联合学习的通信效率和统计性能，我们将提出一种联合设备选择和接收机波束形成设计方法，通过AirComp找到具有均方误差（MSE）要求的最大选择设备，以实现快速模型聚合。请注意，最近的并行工作[24]中也考虑了学习性能和聚合误差的折衷，这相当于基于截断的方法的设备数量，用于排除具有深度衰落信道的设备。 然而，联合器件选择和波束形成设计问题本质上是一个具有非凸二次约束的计算困难的混合组合优化问题。具体而言，设备选择需要最大化组合目标函数，而由于AirComp中接收机波束形成设计的多播对偶性，MSE要求产生非凸二次约束[22]。为了解决计算问题，我们提出了一种稀疏低秩建模方法，以帮助高效算法的设计。这是通过找到组合目标函数的稀疏表示来实现的，然后通过采用矩阵提升技术将非凸二次约束重新表示为具有额外秩一矩阵约束的精确约束[25]。对于稀疏优化问题，ℓ 1-范数是非凸的一个著名的凸代理ℓ 0-范数。非凸平滑ℓ 迭代重加权算法支持的p-范数是一种很有希望的提高稀疏性水平的方法[26]，[27]。然而，其收敛结果依赖于精心选择的平滑参数。尽管半有限松弛（SDR）技术通过在提升问题中放弃秩1约束，将非凸二次约束转化为线性约束，但由于其诱导低秩结构的能力较弱，大量天线的性能会退化[28]。 为了解决现有算法在解决所提出的稀疏和低秩优化问题时的局限性，我们提出了一种统一的凸函数差分（DC）方法来归纳稀疏和低秩结构。具体而言，为了增强稀疏性，我们采用了一种新的DC表示ℓ 0-范数[29]，由ℓ 1-范数和k范数[30]，即最大k绝对值之和。我们还提供了正半限定矩阵秩一约束的DC表示 通过将其轨迹范数和光谱范数之间的差值设置为零。基于稀疏函数和低秩约束的新型DC表示，我们建议在第一步引入稀疏结构，作为选择设备优先级的指导原则。在第二步中，我们通过精确满足秩一约束来解决许多可行性检测问题，以找到最大选择设备。我们提出的增强稀疏性的DC方法是无参数的。在器件选择过程中，秩一约束的精确检测对于准确检测非凸二次约束的可行性至关重要。此外，通过连续求解DC程序的原始问题和对偶问题的凸松弛，开发了具有全局收敛保证的计算效率DC算法（DC）。这些算法优势使得所提出的用于稀疏和低秩优化的DC方法大大优于现有的方法。 A.捐款 在本文中，我们提出了一种新的空中计算方法，通过利用无线多址信道的信号叠加特性，实现ondevice分布式联邦学习的快速全局模型聚合。为了提高设备上分布式学习的统计学习性能和收敛速度，我们提出在满足MSE要求的同时最大化参与全局模型聚合的设备数量，以减少模型聚合误差。这是通过联合器件选择和波束形成设计来实现的，进一步将其建模为稀疏低秩优化问题。提出了一种新的DC方法来增强稀疏性并准确检测秩一约束。通过连续凸松弛进一步发展了具有既定收敛速度的DC算法。 本文的主要贡献总结如下： 1） 我们利用无线多址信道的信号叠加特性，利用空中计算原理，设计了一种新的快速模型聚合联邦学习方法。该思想通过联合器件选择和波束形成设计来实现，以提高统计学习性能。 2） 提供了一种稀疏低秩建模方法，以支持联合设备选择和波束形成问题的有效算法设计，该问题本质上是一个具有非凸二次约束的高度棘手的组合优化问题。 3） 为了解决现有稀疏和低秩优化算法的局限性，我们提出了一种统一的DC表示方法来归纳稀疏和低秩结构。所提出的DC方法能够准确检测非凸二次约束的可行性，这在器件选择过程中是至关重要的。 4） 我们进一步发展了一个DC算法，该算法通过连续的凸松弛来实现非凸DC规划。DC算法的全局收敛速度是通过将DC函数改写为强凸函数的差分，进一步建立。 大量的数值结果将证明所提出的DC方法在精确的可行性检测和器件选择方面的优越性。在CIFAR-10数据集上训练支持向量机（SVM）分类器的实验表明，我们提出的方法可以获得更好的预测精度和更快的收敛速度。 B.组织 这项工作的剩余部分安排如下。第二节介绍了设备上分布式联邦学习的系统模型和快速模型聚合的问题描述。第三节介绍了一种用于模型聚合的稀疏低秩建模方法。第四节提供了解决稀疏低秩优化问题的DC表示框架，第五节开发了DC算法，并确定了其收敛速度。第六节说明了所提出的方法和其他最先进方法的性能。我们在第七节结束这项工作。 二、系统模型和问题模拟在本节中，设备上的分布式联邦学习 介绍了该系统。基于无线计算的原理，我们提出了一种基于无线计算原理的计算和通信协同设计方法，用于在每个设备上快速聚合本地计算更新的模型，以改进全局模型。

脚本宝典总结

以上是脚本宝典为你收集整理的Federated Learning via Over-the-Air Computation全部内容，希望文章能够帮你解决Federated Learning via Over-the-Air Computation所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。