(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111240693.8 (22)申请日 2021.10.25 (65)同一申请的已公布的文献号 申请公布号 CN 113923605 A (43)申请公布日 2022.01.11 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 江智慧　余官定　袁建涛　刘胜利　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. H04W 4/06(2009.01) H04W 4/70(2018.01)H04W 28/22(2009.01) H04W 72/04(2009.01) G06N 20/00(2019.01) G06F 9/50(2006.01) 审查员 金凤 (54)发明名称 一种面向工业互联网的分布式边缘学习系 统和方法 (57)摘要 本发明公开了一种面向工业互联网的分布 式边缘学习系统和方法， 包括基站和计算设备， 两计算设备之间通过D2D链路传输数据； 计算设 备根据本地数据训练本地模型后， 依据最优广播 数据速率和最优 带宽， 通过广播与所有相邻其他 计算设备共享本地模型， 依据来自于相邻其他计 算设备共享的本地模型估计全局模 型， 上传最优 广播数据速率和本地模型相关信息至基站； 基站 依据本地模 型相关信息、 最优广播数据速率和设 备网络信息确定每个计算设备的估计全局模型 和真实全局模 型之间的模型偏 差， 定义偏差减少 速率为每增加单位带宽所有计算设备的模型偏 差减少量， 以使所有计算设备的偏 差减少速率相 同为目标进行带宽分配， 以确定分配给计算设备 的最优带宽 。 权利要求书3页 说明书7页 附图3页 CN 113923605 B 2022.08.09 CN 113923605 B 1.一种面向工业互联网的分布式边缘学习系统， 其特征在于， 包括基站和多个计算设 备， 计算设备与计算设备之间通过D2D链路传输数据； 计算设备用于本地模型训练和估计全局模型， 包括： 根据本地数据训练本地模型后， 依 据最优广播数据速率和最优带宽， 通过广播与所有相邻其他计算设备共享本地模型， 依据 来自于相 邻其他计算设备共享的本地模型估计全局模型， 上传最优广播数据速率和本地模 型相关信息至基站， 其中， 最优广播数据速率依据本地模型大小、 每轮训练总时延、 本地计 算时延确定； 基站用于网络协调和带宽分配， 包括： 依据本地模型相关信 息、 最优广播数据速率和设 备网络信息确定每个计算设备的估计全局模型和真实全局模型之 间的模型偏差， 定义偏差 减少速率为每增加单位带宽所有计算设备的模型偏差减少量， 以使所有计算设备的偏差减 少速率相同为目标进行 带宽分配， 以确定分配给计算设备的最优带宽； 其中， 计算设备根据本地数据训练本地模型时， 采用以下公式根据梯度下降法更新模 型： 其中， k表示计算设备索引， l表示训练轮数， η(l‑1)表示第l‑1轮的学习率， 表示第k 个计算设备第l轮更新的本地模型， 表示第k个计算设备第l ‑1轮的本地模型， 表示第k个 计算设备的梯度向量； 其中， 依据本地模型大小、 每轮训练总时延、 本地计算 时延确定的最优广播数据速率表 示为： 其中， 表示最优广播数据速率， S表示本地模型大小， T表示给定的一轮训练总时延， 表示本地计算时延， 其中， 每轮训练总时延包括两部分， 一部分为本地计算时延， 计算 设备更新本地模型所需要的时间； 另一部分为通信时延， 计算设备广播分享给相邻计算设 备所需要的时间； 其中， 采用以下公式依据来自于相邻其 他计算设备共享的本地模型估计全局模型： 其中， 表示第i个计 算设备第l轮估计的全局模型， i和k均为计 算设备的索引， 表 示第k个计算设备第l轮更新的本地模 型， αk,i是一个二元指标， 当第k个计算设备到第i个计 算设备的瞬时信道容量大于等于其最优广播数据速率时， 第k个计算设备 的本地模型能成 功分享给第i个计算设备， 则αk,i＝1； 否则， αk,i＝0， K表示与第i个计算设备相邻的所有计算 设备个数；权　利　要　求　书 1/3 页 2 CN 113923605 B 2其中， 所述本地模型相关信息包括当前轮次本地模型的模、 当前轮次与上一轮次本地 模型之差的模、 上一轮次梯度的模、 本地损失减少量、 当前轮次本地模型大小、 每轮训练总 时延、 本地计算时延； 其中， 所述依据本地模型相关信息、 最优广播数据速率和设备网络信息确定每个计算 设备的估计全局模型和真实全局模型之间的模型偏差为： 其中， 表示第k个计算设备的最优广播数据速率， Bk表示分配给第k个计算设备用于 广播的带宽， Pk表示第k个计算设备的发射功率， σk,i表示第k个计算设备到第i个计算设备 链路信道功率增益的方差， N0表示噪声功率， K表示计算设备个数， Δk,i表示由第k个计算设 备到第i个计算设备之间的不可靠传输导致的第i个计算设备的模型偏差， Ak表示第k个计 算设备的本地模型相关信息， 包括当前轮次本地模型 的模、 当前轮次与上一轮次本地模型 之差的模、 上一轮次梯度的模、 本地损失减少量； 其中， 所述使所有计算设备的偏差减少速率相同为目标进行带宽分配时， 采用的带宽 分配算法为： (a)输入本地模型相关信息， 发射功率Pk， 链路信道 功率增益的方差σk,i， 噪声功率 N0； (b)初始化拉格朗日参数 λ(0)和训练轮数l ＝0； (c)采用梯度下降法获得 下一轮拉格朗日参数的值， 其中， ηλ表示步长， L2({Bk}, λ )表示相应的拉格朗 日函数； (d)初始化带宽分配 和迭代次数j＝0； (e)采用梯度下降法获得新 一轮迭代后的带宽分配， 其中， ηBk表示步长， Δk,i表示由第k个计算设备到第i 个计算设备之间的不可靠传输导 致的第i个 计算设备的模型偏差； (f)迭代次数增 加， j＝j+1； (g)重复步骤(e)～步骤(f)直至收敛； (h)获得当前最优带宽分配， l ＝l+1； (i)重复步骤(c)～步骤(h)直至收敛； (j)输出最优带宽分配。 2.根据权利要求1所述的面向工业互联网的分布式边缘学习系统， 其特征在于， 基站在 进行网络协调时， 获取计算设备的长时标信息， 基于 长时标信息进行信道估计。 3.一种面向工业互联网的分布式边缘学习方法， 其特征在于， 所述分布式边缘学习方 法采用权利要求1或2所述的分布式边缘学习系统， 所述分布式边缘学习方法包括以下步权　利　要　求　书 2/3 页 3 CN 113923605 B 3