说明:收录25万 73个行业的国家标准 支持批量下载
(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111321197.5 (22)申请日 2021.11.09 (71)申请人 京东科技信息技 术有限公司 地址 100176 北京市大兴区北京经济技 术 开发区科创十一街18号院2号楼6层 601 (72)发明人 张立平 王希予 宋红花 赵国梁  孙中伟  (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 代理人 曹蓓 (51)Int.Cl. G06F 30/27(2020.01) G06N 20/00(2019.01) (54)发明名称 数据处理方法、 装置和存 储介质 (57)摘要 本公开提出一种数据处理方法、 装置和存储 介质, 涉及机器学习技术领域。 本公开的一种数 据处理方法, 包括: 根据联邦学习的成员集合中 所有成员的训练数据, 获取第一联合建模模型; 根据第一联合建模模型和测试数据集合, 获取第 一价值评估量; 针对每个成员: 根据成员集合中 除当前的成员的训练数据以外的数据, 获取第二 联合建模模 型; 根据第二联合建模模 型和测试数 据集合, 获取第二价值评估量; 根据第一价值评 估量和第二价值评估量, 确定当前的成员的边际 价值评估量; 根据各个成员的边际价值评估量确 定待剔除的成员。 通过这样的方法, 能够提高联 邦学习中多方合作的成员的可靠度, 进而便于实 现提升模型的准确度。 权利要求书2页 说明书8页 附图4页 CN 114021464 A 2022.02.08 CN 114021464 A 1.一种数据处 理方法, 包括: 根据联邦学习的成员集合中所有成员的训练数据, 基于联邦学习算法生成并训练模 型, 获取第一联合建模 模型; 根据所述第 一联合建模模型和测试数据集合, 获取所述第 一联合建模模型的价值评估 量, 作为第一 价值评估量; 针对每个成员: 根据所述成员集合中除当前的成员的训练数据以外的数据, 基于联邦学习算法生成并 训练模型, 获取第二联合建模 模型; 根据所述第 二联合建模模型和所述测试数据集合, 获取所述第 二联合建模模型的价值 评估量, 作为第二 价值评估量; 根据所述第一价值评估量和所述第二价值评估量, 确定当前的成员的边际价值评估 量; 根据各个成员的边际价 值评估量确定待剔除的成员。 2.根据权利要求1所述的方法, 其中, 所述根据各个成员的边际价值评估量确定待剔除 的成员包括: 判断是否存在所述 边际价值评估量小于预定阈值的成员; 在存在所述 边际价值评估量小于预定阈值的成员的情况 下, 确定所述待剔除的成员。 3.根据权利要求1或2所述的方法, 还 包括: 通过在所述成员集 合中剔除所述待剔除的成员更新所述成员集 合。 4.根据权利要求3所述的方法, 还 包括: 根据更新后的所述成员集合, 执行所述获取第一联合建模模型的操作, 并更新更新后 的所述成员集 合中每个成员的所述 边际价值评估量; 判断更新后的所述成员集 合中是否存在边际价 值评估量小于预定阈值的成员; 在存在所述边际价值评估量小于预定阈值的成员的情况下, 确定所述待剔除的成员, 执行通过剔除所述待剔除的成员更新所述成员集合的操作, 并更新更新后的所述成员集合 中每个成员的所述边 际价值评估量, 直至不存在所述边 际价值评估量小于预定阈值的成 员; 在不存在所述边际价值评估量小于预定 阈值的成员的情况下, 确定当前的成员为稳定 成员。 5.根据权利要求2或4所述的方法, 还 包括: 根据所述稳定成员的边际价值评估量确定所述稳定成员的权重, 其中, 所述稳定成员 的权重与对应的边际价 值评估量 正相关。 6.根据权利要求5所述的方法, 其中, 所述根据所述稳定成员的边际价值评估量确定所 述稳定成员的权 重包括: 通过将所述稳定成员的边际价 值评估量做归一 化运算, 获取所述稳定成员的权 重。 7.根据权利要求1所述的方法, 其中, 获取模型的价 值评估量包括: 获取模型的损失函数值; 通过计算所述损失函数值的绝对值的倒数, 获取模型的所述 价值评估量。 8.根据权利要求1所述的方法, 其中, 所述根据所述第 一价值评估量和所述第 二价值评权 利 要 求 书 1/2 页 2 CN 114021464 A 2估量, 确定当前的成员的边际价 值评估量包括: 确定所述第一价值量与所述第二价值评估量的差, 作为当前的成员的边际价值评估 量。 9.一种数据处 理装置, 包括: 第一模型获取单元, 被配置为根据联邦学习的成员集合中所有成员的训练数据, 基于 联邦学习算法生成并训练模型, 获取第一联合建模 模型; 第一确定单元, 被配置为根据所述第一联合建模模型和测试数据集合, 获取所述第一 联合建模 模型的价 值评估量, 作为第一 价值评估量; 第二模型获取单元, 被配置为针对每个成员, 根据所述成员集合中除当前的成员的训 练数据以外的数据, 基于联邦学习算法生成并训练模型, 获取第二联合建模 模型; 第二确定单元, 被配置为根据所述第二联合建模模型和所述测试数据集合, 获取所述 第二联合建模 模型的价 值评估量, 作为第二 价值评估量; 第三确定单元, 被配置为根据所述第一价值评估量和所述第二价值评估量, 确定当前 的成员的边际价 值评估量; 剔除确定单 元, 被配置为根据各个成员的边际价 值评估量确定待剔除的成员。 10.根据权利要求9所述的装置, 其中, 所述剔除确定单 元被配置为: 判断是否存在所述 边际价值评估量小于预定阈值的成员; 在存在所述 边际价值评估量小于预定阈值的成员的情况 下, 确定所述待剔除的成员。 11.根据权利要求9或10所述的装置, 还 包括: 更新单元, 被配置为通过在所述成员集合中剔除所述待剔除的成员更新所述成员集 合。 12.根据权利要求11所述的装置, 其中, 所述更新单元还被配置为根据 更新后的所述成 员集合触发所述第一模型获取 单元, 直至所述剔除确定单 元确定当前的成员为稳定成员。 13.根据权利要求10或12所述的装置, 还包括权重确定单元, 被配置为根据所述稳定成 员的边际价值评估量确定所述稳定成员的权重, 其中, 所述稳定成员的权重与对应的边际 价值评估量 正比相关。 14.一种数据处 理装置, 包括: 存储器; 以及 耦接至所述存储器的处理器, 所述处理器被配置为基于存储在所述存储器的指令执行 如权利要求1至8任一项所述的方法。 15.一种计算机可读存储介质, 其上存储有计算机程序指令, 该指令被处理器执行时实 现权利要求1至8任意 一项所述的方法的步骤。权 利 要 求 书 2/2 页 3 CN 114021464 A 3

.PDF文档 专利 数据处理方法、装置和存储介质

文档预览
中文文档 15 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、装置和存储介质 第 1 页 专利 数据处理方法、装置和存储介质 第 2 页 专利 数据处理方法、装置和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 19:02:46上传分享
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。