(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111321688.X (22)申请日 2021.11.09 (71)申请人 浙江师范大学 地址 321004 浙江省金华市迎宾大道68 8号 (72)发明人 朱佳　马晓东　黄昌勤　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 代理人 黎扬鹏 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 基于联邦蒸馏的联邦学习模 型的训练方法、 系统和介质 (57)摘要 本发明公开了一种基于联邦蒸馏的联邦学 习模型的训练方法、 系统和介质， 可应用于模型 处理技术领域。 本发明方法包括： 客户端采用联 邦学习算法和本地私有数据集训练并更新本地 模型， 采用公共 数据集和更新后的本地模型预测 局部归一化层的第一输出向量， 并向服务器上传 第一输出向量对应的局部平均输出向量； 服务器 对所有局部平均输出向量进行全局共识操作并 确定全局平均输出向量， 向所有客户端下发所述 全局平均输出向量； 客户端在公共数据集上， 采 用全局平均输出向量和更新后的本地模型进行 知识蒸馏， 并在本地私有数据集上训练回调本地 模型。 本发明能使通信成本只取决于模型输出， 不会随模型大小倍数增加， 从而有效提高通讯的 稳定性和减少延迟。 权利要求书2页 说明书9页 附图10页 CN 114154643 A 2022.03.08 CN 114154643 A 1.一种基于联邦蒸馏的联邦学习模型的训练方法， 其特 征在于， 包括以下步骤： 客户端采用联邦学习算法， 基于 本地私有数据集训练并更新本地模型； 所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出 向量， 并向服 务器上传所述第一输出向量对应的局部平均输出向量； 服务器对所有所述局部平均输出向量进行全局共识操作并确定全局 平均输出向量， 向 所有所述 客户端下发所述全局平均输出向量； 所述客户端在所述公共数据集上， 采用所述全局 平均输出向量和更新后的所述本地模 型进行知识蒸馏， 并在所述本地私有数据集上训练回调本地模型。 2.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其特征在于， 在执行所述客户端采用联邦学习算法， 基于本地私有 数据集训练并更新本地模型这一步骤 之前， 所述方法还 包括以下步骤： 所述服务器向每 个所述客户端发送初始化模型。 3.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其特征在于， 所述客户端与服 务器之间传输模型平均输出向量。 4.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其特征在于， 所述客户端更新本地模型， 包括： 获取部分所述本地私有数据集； 确定本地模型的目标函数对应的梯度信息； 根据所述梯度信息和所述本地私有数据集， 采用迭代一阶方式获取近似值。 5.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其特征在于， 在所述客户端采用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向 量之前， 所述方法还 包括以下步骤： 计算每个标签的第二输出向量。 6.根据权利要求1所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其特征在于， 所述客户端在所述公共数据集上， 采用所述全局平均输出向量和更新后的所述本地模型进 行知识蒸馏， 包括： 所述客户端根据所述全局平均输出向量， 控制更新后的所述本地模型， 采用 知识蒸馏 学习所述公共数据集上的共识信息 。 7.根据权利要求1 ‑6任一项所述的一种基于联邦蒸馏的联邦学习模型的训练方法， 其 特征在于， 所述归一化层包括softmax层； 所述第一输出向量包括softmax层输出的logit向 量。 8.一种基于联邦蒸馏的联邦学习模型的训练系统， 其特 征在于， 包括： 客户端， 所述客户端采用联邦学习算法， 基于本地私有数据集训练并更新本地模型； 采 用公共数据集和更新后的所述本地模型预测局部归一化层的第一输出向量， 并向服务器上 传所述第一输出向量对应的局部平均输出向量； 以及在所述公共数据集上， 采用服务器下 发的全局平均输出向量和更新后的所述本地模型进行知识蒸馏， 并在所述本地私有数据集 上训练回调本地模型； 服务器， 所述服务器对所有所述局部平均输出向量进行全局共识操作并确定全局 平均 输出向量， 向所有所述 客户端下发所述全局平均输出向量。权　利　要　求　书 1/2 页 2 CN 114154643 A 29.一种基于联邦蒸馏的联邦学习模型的训练系统， 其特 征在于， 包括： 至少一个存 储器， 用于存 储程序； 至少一个处理器， 用于加载所述程序以执行如权利要求1 ‑7任一项所述的基于联邦蒸 馏的联邦学习模型的训练方法。 10.一种存储介质， 其特征在于， 其中存储有计算机可执行的程序， 所述计算机可执行 的程序被处理器执行时用于实现如权利要求 1‑7任一项所述的基于联邦蒸馏的联邦学习模 型的训练方法。权　利　要　求　书 2/2 页 3 CN 114154643 A 3