(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111268128.2 (22)申请日 2021.10.2 9 (71)申请人 河海大学 地址 211100 江苏省南京市江宁区佛城西 路8号 (72)发明人 陈瑞锋　谢在鹏　朱晓瑞　屈志昊　 叶保留　许峰　 (74)专利代理 机构 南京泉为知识产权代理事务 所(特殊普通 合伙) 32408 代理人 许丹丹 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 21/62(2013.01) (54)发明名称 基于异步联邦学习的参数聚合更新方法、 设 备及系统 (57)摘要 本发明公开了一种基于异步联邦学习的参 数聚合更新方法、 设备及系统。 所述方法通过在 参数服务器上保存权重摘要来保留工作节点的 最新权重， 并且所有工作节点所 占权重比例相 同， 权重摘要通过每个工作节 点只能更新自身摘 要部分， 限制了快节点高频更新对整体权重的影 响； 所述方法通过在参数服务器上设置版本感知 机制对权重摘要的版本进行记录， 使得参数服务 器聚合时可以根据工作节点不同的版本确定不 同的加权比例， 当整体版本差距过大时， 通过全 局更新的方式将慢节点中使用的旧权重更新到 最新权重， 从而提高慢节点的更新效率， 使参数 服务器上的模 型更快的收敛。 本发 明可有效地提 高基于联邦学习的机 器学习模型的训练速度。 权利要求书2页 说明书7页 附图5页 CN 113989561 A 2022.01.28 CN 113989561 A 1.一种基于异步联邦学习的参数聚合更新方法， 其特征在于， 用于参数服务器端， 所述 方法包括以下步骤： 随机选择n个工作节点， 向选择的工作节点分发神经网络模型、 神经网络模型初始参 数、 训练轮 次T、 超时时间tl， 设置最大版本差距阈值th， 并初始化本地版本为versionlatest ←1， 初始化α 表示调节参数； 接收工作节点传来的节点 id、 神经网络 权重w， 并保存serverw[id]←w； 本地版本递增versionlatest←versionlatest+1， 并根据工作节点传 来的神经网络权重w， 计算当前最 新权重wlatest； 判断当前最新权重wlatest是否达到预设训练精度ta要求， 如果测试集精度大于等于ta， 则停止训练； 如果测试集精度小于ta， 则判断当前整体版本差距是否大于最大版本差距阈 值th： 如果版本 差距超过阈值th， 则发送最 新权重wlatest到所有节点； 如果版本 差距小于阈值th， 则发送最 新权重wlatest到刚接收权 重的工作节点； 等待工作节点下次传来节点 id、 神经网络 权重w， 进行 下一轮更新。 2.根据权利要求1所述的基于异步联邦学习的参数聚合更新方法， 其特征在于， 参数服 务器端根据下式计算当前最 新权重wlatest： 式中， α 表示调节参数， serverw[i]表示工作节点i在参数服务器上存储的神经网络权重 w。 3.根据权利要求1所述的基于异步联邦学习的参数聚合更新方法， 其特征在于， 判断当 前整体版本差距是否大于最大版本差距阈值th包括： 判断 是 否大于最大版本差距阈值th， serverw[i]表示工作节点i在参数服务器上存储的神经网络 权重w。 4.根据权利要求1所述的基于异步联邦学习的参数聚合更新方法， 其特征在于， 所述测 试集精度是用训练好的模型预测测试集结果， 根据预测结果与实际结果对比所得到的准确 率。 5.一种基于异步联邦学习的参数聚合更新方法， 其特征在于， 用于工作节点端， 所述方 法包括以下步骤： 接收参数服务器发来的神经网络模型、 神经网络模型初始参数、 训练轮次T、 超时时间 tl； 在本地进行T轮训练， 并将训练产生的权 重参数w以及本节点的id发送给参数服 务器； 如果在超时时间tl内接收到参数服务器发来的最新权重wlatest， 则将本地神经网络模 型中的权 重更新为最新权重； 利用更新后的权 重进行训练。权　利　要　求　书 1/2 页 2 CN 113989561 A 26.根据权利要求5所述的基于异步联邦学习的参数聚合更新方法， 其特征在于， 如果超 时时间tl超时后未收到参数服 务器的最 新权重， 工作节点退 出。 7.一种用于在参数服务器端进行基于异步联邦学习的参数聚合更新的设备， 其特征在 于， 所述设备包括： 存储器， 存储有一个或多个计算机程序， 所述一个或多个计算机程序被一个或多个处 理器执行时， 致使所述 一个或多个处 理器执行如权利要求1 ‑4任一项所述的方法。 8.一种用于在工作节点端进行基于异步联邦学习的参数聚合更新的设备， 其特征在 于， 所述设备包括： 存储器， 存储有一个或多个计算机程序， 所述一个或多个计算机程序被一个或多个处 理器执行时， 致使所述 一个或多个处 理器执行如权利要求5 ‑6任一项所述的方法。 9.一种基于异步联邦学习的参数聚合更新系统， 包括参数服务器以及与参数服务器通 信相连的多个工作节点， 其特征在于， 参数服务器与工作节点基于异步联邦学习机制进行 参数聚合更新， 所述参数服务器根据权利要求 1‑4中任一项 所述的方法进 行参数聚合更新； 所述工作节点 根据权利要求5 ‑6中任一项所述的方法完成参数 更新。权　利　要　求　书 2/2 页 3 CN 113989561 A 3