(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677767.4 (22)申请日 2021.12.31 (71)申请人 杭州趣链科技有限公司 地址 310051 浙江省杭州市滨江区丹 枫路 399号2号楼 A楼2001室 (72)发明人 汪小益　蔡亮　严杨　李伟　 邱炜伟　 (74)专利代理 机构 杭州华进联浙知识产权代理 有限公司 3 3250 代理人 赵洁修 (51)Int.Cl. G06F 21/60(2013.01) G06Q 40/04(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) H04L 9/40(2022.01) H04L 67/10(2022.01) (54)发明名称 基于纵向联邦学习的数据预测方法、 装置和 计算机设备 (57)摘要 本申请涉及一种基于纵向联邦学习的数据 预测方法、 装置和计算机设备。 方法包括： 根据总 模型在上一时间步的全局损失对各成员方本地 循环时间网络模 型的第一模型参数进行更新； 将 标签数据输入成员方的本地模型， 根据第一模型 参数确定本地模 型的输出结果， 将加密后的输出 结果上链； 通过智能合约确定训练上层模型的执 行方， 将所有当前时间步的输出结果传递至每个 执行方； 对于每个执行方， 将所有本地模型在当 前时间步的加密后的输出结果作为上层模型的 输入， 根据更新后的第二模型参数值得到标签数 据的当前预测值。 采用本方法能够提高纵向联邦 学习过程中各成员方本地数据的安全性。 权利要求书2页 说明书14页 附图9页 CN 114357484 A 2022.04.15 CN 114357484 A 1.一种基于纵向联邦学习的数据预测方法， 其特 征在于， 所述方法包括： 根据总模型在上一时间步的全局损失对各成员方本地模型的第一模型参数的参数值 进行更新， 其中， 所述本地模型为循环时间网络模 型， 所述第一模型参数的类型根据所述循 环时间网络模型的输出 结果确定； 将时序性的标签数据输入所述成员方的本地模型， 根据 更新后的第 一模型参数确定所 述本地模型在当前时间步的输出结果， 对所述输出结果进行加密， 并将加密后的所述输出 结果上传至区块链； 通过所述区块链的智能合约在多个成员方中确定在当前时间步进行上层模型训练的 执行方， 将所有本地模型在当前时间步的加密后的输出结果传递至每个所述执行方， 其中， 所述上层模型和所述本地模型构成所述总模型； 根据所述总模型在上一时间步的全局损失对所述上层模型的第二模型参数的参数值 进行更新， 其中， 所述第二模型参数的类型根据所述上层模型的类型和输出 结果确定； 对于每个所述执行方， 将所有本地模型在当前时间步的加密后的输出结果作为所述上 层模型的输入， 对所述上层模型进行当前时间步的训练， 根据更新后的所述第二模型参数 值得到所述标签数据的当前 预测值。 2.根据权利要求1所述的方法， 其特征在于， 所述将所有本地模型在 当前时间步的加密 后的输出 结果作为所述上层模型的输入 包括： 在所述上层模型为线性模型的情况下， 在加密后的输出结果中确定多个隐藏状态， 将 多个所述隐藏状态进行拼接得到所述上层模型的输入。 3.根据权利要求1所述的方法， 其特征在于， 所述将所有本地模型在 当前时间步的加密 后的输出 结果作为所述上层模型的输入 包括： 在所述上层模型为循环时间网络模型的情况下， 在加密后的输出结果中确定多个与 所 述标签数据对应的初始预测值， 将多个所述初始预测值进行拼接得到拼接结果； 将所述拼接结果和所述总模型在上一时间步的隐藏状态作为所述上层模型的输入。 4.根据权利要求1所述的方法， 其特征在于， 所述将所有本地模型在 当前时间步的加密 后的输出 结果作为所述上层模型的输入 包括： 在所述上层模型为循环时间网络模型的情况下， 在加密后的输出结果中确定多个隐藏 状态， 将多个所述隐藏状态进行拼接得到拼接结果； 将所述拼接结果和所述总模型在上一时间步的隐藏状态作为所述上层模型的输入。 5.根据权利要求3或4所述的方法， 其特征在于， 所述根据所述总模型在上一时间步的 全局损失对所述上层模型的第二模型参数进行 更新包括： 根据所述上层模型更新后的权重参数、 所述上层模型的输入、 所述总模型在上一时间 步的隐藏状态以及激活函数， 确定所述执行方的上层模型 的当前重置门和当前更新 门， 其 中， 所述上层模型的权 重参数根据所述总模型在上一时间步的全局损失进行 更新； 根据所述上层模型更新后的权重参数、 所述当前重置门、 所述当前更新门、 所述上层模 型的输入以及总模型在上一时间步的隐藏状态确定所述上层模型的当前隐藏状态。 6.根据权利要求1所述的方法， 其特征在于， 所述将所有本地模型在 当前时间步的加密 后的输出 结果作为所述上层模型的输入 包括： 在所述上层模型包括循环时间网络模型和分类模型的情况下， 在加密后的输出结果中权　利　要　求　书 1/2 页 2 CN 114357484 A 2确定多个隐藏状态， 将多个所述隐藏状态进行拼接得到拼接结果； 将所述拼接结果和所述总模型在上一时间步的隐藏状态作为所述循环时间网络模型 的输入， 通过 执行所述循环时间 网络模型 得到与所述输入 对应的输出； 将所述循环时间网络模型的输出作为所述分类模型的输入， 执行所述分类模型得到所 述标签数据的当前 预测值。 7.根据权利要求1所述的方法， 其特征在于， 所述将时序性的标签数据输入所述成员方 的本地模型， 根据更新后的第一模型参数确定所述本地模型在当前时间步的输出结果包 括： 根据本地模型更新后的权重参数、 本地模型在上一时间步的隐藏状态、 所述标签数据 以及激活函数， 确定 当前时间步下所述本地模型的当前更新门和当前重置门， 其中， 所述本 地模型的权 重参数根据所述总模型在上一时间步的全局损失进行 更新； 根据更新后的所述权重参数、 当前时间步的所述标签数据、 所述当前重置门、 所述当前 更新门以及所述本地模型在上一时间步的隐藏状态确定所述本地模型的当前隐藏状态； 根据所述时序性的标签数据确定第一模型参数矩阵， 其中， 所述第一模型参数矩阵包 括重置门矩阵、 更新门矩阵和当前隐藏状态 矩阵中的至少一个； 对所述第一模型参数矩阵进行加密得到所述成员方本地模型的输出 结果。 8.根据权利要求1所述的方法， 其特 征在于， 所述对所述输出 结果进行加密包括： 根据与所述标签数据对应的成员方的掩码， 对所述本地模型的输出 结果进行加密。 9.一种基于纵向联邦学习的数据 预测装置， 其特征在于， 所述装置包括第 一更新模块、 第一输出模块、 确定模块、 第二更新模块和第二输出模块： 所述第一更新模块， 用于根据总模型在上一 时间步的全局损失对各成员方本地模型的 第一模型参数的参数值进 行更新， 其中， 所述本地模型为循环时间网络模型， 所述第一模型 参数的类型根据所述循环时间 网络模型的输出 结果确定； 所述第一输出模块， 用于将时序性的标签数据输入所述成员方的本地模型， 根据更新 后的第一模型参数确定所述本地模型在当前时间步的输出结果， 对所述输出结果进行加 密， 并将加密后的所述输出 结果上传至区块链； 所述确定模块， 用于通过所述 区块链的智能合约在多个成员方中确定在 当前时间步进 行上层模型训练的执行方， 将所有本地模型在当前时间步的加密后的输出结果传递至每个 所述执行方， 其中， 所述上层模型和所述本地模型构成所述总模型； 所述第二更新模块， 用于根据 所述总模型在上一 时间步的全局损失对所述上层模型的 第二模型参数 的参数值进行更新， 其中， 所述第二模型参数 的类型根据所述上层模型 的类 型和输出 结果确定； 所述第二输出模块， 用于对于每个所述执行方， 将所有本地模型在当前时间步的加密 后的输出结果作为所述上层模型 的输入， 对所述上层模型进行当前时间步的训练， 根据更 新后的所述第二模型参数值得到所述标签数据的当前 预测值。 10.一种计算机设备， 包括存储器和 处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114357484 A 3