(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111675427.8 (22)申请日 2021.12.31 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 朱旭　温正峤　蒋宇飞　王同　 (74)专利代理 机构 深圳市添源创鑫知识产权代 理有限公司 4 4855 代理人 朱丽萍 (51)Int.Cl. H04W 16/18(2009.01) H04W 16/22(2009.01) H04W 24/02(2009.01) H04W 72/04(2009.01) G06N 20/00(2019.01) (54)发明名称 一种部署分层联邦学习的无线通信系统及 资源优化方法 (57)摘要 本发明公开了一种部署分层联邦学习的无 线通信系统及资源优化方法， 系统以部署了云服 务器的基站为分层联邦学习架构中的全局参数 服务器， 执行全局参数的聚合操作； 以基站服务 范围内的工作节点为联邦学习工作节 点， 工作节 点进行自适应分组， 并选举出每个分组的头节 点， 作为工作节点和云服务器 之间的桥梁和局部 聚合器。 每个 分组内的物联网节 点利用本地数据 集迭代训练， 并通过D2D模式完成本地参数的上 传到分组头节点。 分组节点以频分多址 FDMA方式 接入基站， 完成联邦学习任务的分配和接收以及 训练过程中的参数更新和交换。 本发 明解决传统 分层联邦学习架构的缺陷， 有效降低系统开销。 权利要求书2页 说明书16页 附图8页 CN 114363911 A 2022.04.15 CN 114363911 A 1.一种部署分层联邦学习的无线通信系统， 其特征在于， 所述系统以部署了云服务器 的基站为分层联邦学习架构中的全局参数服 务器， 执行全局参数的聚合操作； 以基站服务范围内的工作节点为联邦学习工作节点， 工作节点进行自适应分组， 并选 举出每个分组的头节点， 作为所述工作节点和云服务器之间的桥梁和局部聚合器； 每个分 组内的物联网节点利用本地数据集迭代训练， 并通过D2D模式完成本地参数 的上传到分组 头节点； 所述分组节点以频分多址FDMA方式接入基站， 每个分组会被分配一定的带宽资源， 用 于在无线通信链路上和基站之 间建立通信连接， 以完成联邦学习任务的分配和接收以及训 练过程中的参数 更新和交换。 2.根据权利要求1所述的部署分层联邦学习的无线通信系统， 其特征在于， 每个工作节 点基于串行的参数 上传策略利用本地计算资源并行完成模型参数的迭代更新； 所述串行的参数上传策略， 是在所述工作节点将模型参数上传到分组头节点阶段， 分 组内的所述工作 节点利用组内的所有 预分配带宽资源， 依次串行地将本地模型参数上传到 分组头节点； 在分组头节点上完成模型参数的组内聚合， 并通过广播， 将更新后的聚合参数 广播到组内的各个所述工作节点； 在达到全局聚合的时间节点阶段， 率先完成指定组内聚合轮数的组， 将通过分组头节 点将该组的分组模型参数， 利用系统可用带宽资源， 将分组模型参数上传到全局 参数服务 器； 若此时， 另一个分组也完成指定轮数的参数聚合， 并且上一组已经完成分组模型参数的 上传， 则直接利用系统带宽 资源上传该组的分组模 型参数， 否则， 需等待 上一组完成分组模 型参数的上传之后， 才开始本组的模型参数 上传。 3.根据权利要求2所述的部署分层联邦学习的无线通信系统， 其特征在于， 在通信模型 中， 每个所述工作节点将本地模型参数上传到其所属分组的头节点的通信能耗表示公式 为： 其中， p表示节点发射功率； 表示工作节点j的参数 上传通信时延。 4.根据权利要求2所述的部署分层联邦学习的无线通信系统， 其特征在于， 每个所述分 组的头节点将分组模型参数 上传到云服 务器的通信能耗表示公式为： 其中， p表示头节点发射功率； 表示分组i的头节点的参数上传通信时延； Vi表示分 组i的头节点。 5.根据权利要求2所述的部署分层联邦学习的无线通信系统， 其特征在于， 学习模型 中， 本地所述工作 节点采用小批量随机梯度下降算法， 进行模 型任务的训练， 模 型的损失函 数计为l， 本地工作节点j的损失函数值 为Fj(w)定义为： 其中， s表示工作节点的本地数据集中的样本； w表 示工作节点的模型参数； 表示工作 节点的模型参数。权　利　要　求　书 1/2 页 2 CN 114363911 A 26.根据权利要求5所述的部署分层联邦学习的无线通信系统， 其特征在于， 学习模型 中， 在工作节点利用本地训练样本完成指定轮数 的本地模型训练后， 上传模型参数到分组 头节点， 由分组头节点完成聚合， 分组参数聚合操作表示 为： 分组内的所有工作节点利用本地训练样本完成指定轮数的模型参数更新后， 分组头节 点上传分组模型参数到全局参数服务器， 由全局参数服务器完成分组模型参数的聚合操 作， 全局参数聚合 操作表示 为： 全局参数服务器完成全局参数聚合之后， 将更新后的全局参数广播到各个分组头节 点， 分组头节点在继续广播到去服务范围内的所有工作节点， 各个工作节点利用最新的更 新后的全局模型参数和本地训练样本集继续 新一轮的模型训练和参数 更新， 记为： 其中， Bj表示工作 节点训练样本批量大小； 分组内所有工作节点训练样 本批量总和； t表示训练时间； i和j分别表示不同的工作节点； η表示模型训练中的学习率； 是工作节点模型训练的损失函数Fj(w)在 训练样本集下损失值梯度值； N表示节点个数； 表示工作节点一轮本地迭代训练的批量样本集； B表示全局所有工作节点训练样本批量 大小； Vi表示表示分组i的头节点。 7.根据权利要求1所述的部署分层联邦学习的无线通信系统的资源化优化方法， 其特 征在于， 所述优化方法是基于迭代的联合优化通信因子和学习因子的计算方法， 其包括如 下步骤： S100， 对所有工作节点进行初始化分组和参数初始化， 开始优化全局参数聚合频率； 然 后， 利用上一步得到的全局 参数聚合频率值和 其余参数初始化值， 求解分组内参数聚合频 率问题； S200， 基于已有参数， 对带宽资源进行分配； S300， 对所有节点的分组进行重新规划。 如此迭代优化， 直到算法收敛， 最后走过能够 得到各个 变量的最优解和系统开销最小值。 8.根据权利要求1所述的资源化优化方法， 其特 征在于， 优化目标函数表达式为： 其中， ρ 表示加 权系数， 和 表示模型收敛误差开销和模型训练时间开销的 参照值， 用来统一两个不同尺度的值； t 表示训练时间。权　利　要　求　书 2/2 页 3 CN 114363911 A 3