(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111293775.9 (22)申请日 2021.11.03 (71)申请人 国网宁夏电力有限公司信息通信公 司 地址 750001 宁夏回族自治区银川市长城 东路277号后楼 (72)发明人 李晓波　马润　吴双　冯国礼　 王圣杰　哈欣楠　马梦轩　闫舒怡　 魏文彬　王宁　丰田　陈丽洁　 郑媛媛　王晓芳　孙倩　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 代理人 符继超(51)Int.Cl. G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 基于DRL的联邦学习节点选择方法 (57)摘要 本发明公开了基于DRL的联邦学习节点选择 方法； 包括： 根据联邦学习过程， 分别构建n个节 点对应的联邦学习 时间成本模型和节点精度损 失成本模型； 根据联邦学习时间成本模型和节点 精度损失成本模 型， 构建联邦学习成本最小目标 函数； 对联邦学习成本最小目标函数进行求解， 实现对n个节点的选取； 通过该方法能够有效降 低联邦学习系统的训练时间， 提高聚合模型的精 确度。 权利要求书2页 说明书8页 附图4页 CN 114022731 A 2022.02.08 CN 114022731 A 1.基于DRL的联邦学习节点选择 方法， 其特 征在于， 包括： S1、 根据联邦学习过程， 分别构建n个节点对应的联邦学习时间成本模型和节点精度损 失成本模型； S2、 根据所述联邦学习时间成本模型和节点精度损失成本模型， 构建联邦学习成本最 小目标函数； S3、 对所述联邦学习成本最小目标函数进行求 解， 实现对所述 n个节点的选取。 2.如权利 要求1所述的基于DRL的联邦学习 节点选择方法， 其特征在于， 步骤S1中， 所述 联邦学习时间成本模型， 包括训练时间成本模型和通信时间成本模型； 表示 为： 其中， 表示时隙t下节点i的本地学习时间； τi表示节点i的可用计算资源， 单位为 GFLOPS/KB； di表示节点i承担的计算任务， 单位为KB； 表示时隙t下节点i的通信时间； 表示服务器m覆盖 的第i个本地节点的带宽， 单位为Mbps； 表示训练时隙t之后节点i 需要上传服务器的数据大小， 单位为KB； 表示联邦学习时间成本模型， 即时隙t下n个 节点耗费时间的平均值。 3.如权利 要求1所述的基于DRL的联邦学习 节点选择方法， 其特征在于， 步骤S1中， 所述 节点精度损失成本模型， 表示 为： 其中， 表示时隙t下n个节点对应的精度损失成本； 表示时隙t下节点i的精度损 失； di＝(xj， yj)表示节点i的训练数据， j表示di的维度； 表示时隙t内的聚合模型； L( ·) 表示损失函数。 4.如权利 要求1所述的基于DRL的联邦学习 节点选择方法， 其特征在于， 步骤S2中， 所述 联邦学习成本最小目标函数， 表示 为： 其中， Ct( λt)表示时隙t下联邦学习的总成本； 表示时隙t下节点i的选择状态； 表示时隙t下节点 i被选中参与联邦学习； 表示时隙t下节点 i未被选中。 5.如权利要求1所述的基于DRL的联邦学习节点选择方法， 其特征在于， 所述S3具体包 括： S31、 使用马尔科夫决策过程将所述联邦学习成本最小目标函数转换为奖励函数最大 目标函数； S32、 通过D DPG算法对所述奖励函数最大目标函数进行求 解。权　利　要　求　书 1/2 页 2 CN 114022731 A 26.如权利要求5所述的基于DRL的联邦学习节点选择方法， 其特征在于， 步骤S31中， 所 述奖励函数最大目标函数， 表示 为： 其中， 公式(12)表示累计奖励； γ∈(0， 1]表示奖励折扣因子； T表示总时隙。权　利　要　求　书 2/2 页 3 CN 114022731 A 3