脚本宝典收集整理的这篇文章主要介绍了【流行前沿】联邦学习 Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
Sunwoo Lee, , Anit Kumar Sahu, Chaoyang He, and Salman Avestimehr. "Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits." (2022).
传统FedAvg算法下,SGD的多轮本地训练会导致模型差异增大,从而使全局loss收敛缓慢。本文作者提出每次本地用户更新后,仅对部分网络参数进行聚合,从而降低模型间参数差异。在128个用户时,验证准确率比FedAvg提高了2.2%,loss的下降速度也更快。但是该算法并没有减少传输的参数量,甚至会增加传输的次数,从而可能会提高总的延迟。
每次更新所有用户网络的同一个部分,在周期(tau)内完成网络所有参数的更新。和FedAvg相比,同样是交换了所有参数,只是改成了高频分部更新,所以差异会小一些。
非常高深的理论推导,如何对部分网络进行操作值得学习【挖坑】
目前来看,根据数据进行优化,和贝叶斯学习,似乎是两种不同的理论分析思路。
价值 = 新意100×有效性1×问题大小10
以上是脚本宝典为你收集整理的【流行前沿】联邦学习 Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits全部内容,希望文章能够帮你解决【流行前沿】联邦学习 Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。