(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111674899.1 (22)申请日 2021.12.31 (71)申请人 粤港澳大湾区数字经济 研究院 （福 田） 地址 518045 广东省深圳市福田区福保街 道市花路长富金茂大厦1号楼39楼 3901单元 (72)发明人 杨海钦　赵嘉晨　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 温宏梅 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) (54)发明名称 一种机器学习的均衡方法及相关装置 (57)摘要 本申请公开了一种机器学习的均衡方法及 相关装置， 所述方法包括 从所属正确类别为主要 类别的训练样本中， 按照预设概率筛选部分训练 样本作为目标训练样本； 对原始 类别序列中的类 别标签进行错排以形成错排类别序列； 基于目标 训练样本和错排类别 序列生成错排输入数据； 以 错排输入数据对机器学习模型进行训练。 本申请 通过错排方式将部分正确类别为主要类别的训 练样本的原始 类别序列修改为错排类别 序列， 这 样即可以保留所有训练样本， 使得机器学习可以 学习到所有训练样本所携带的特征信息， 同时又 阻止机器学习模 型对主要类别的过度学习， 使 得 机器学习在主要类别上的权重更新变小且次要 类别不受影 响， 使得机器学习的训练过程更加平 衡， 提高了模型性能。 权利要求书2页 说明书11页 附图3页 CN 114462620 A 2022.05.10 CN 114462620 A 1.一种机器学习的均衡方法， 其特 征在于， 所述的方法包括： 从所属正确类别为主要类别的训练样本 中， 按照预设概率筛选部分训练样本作为目标 训练样本； 对原始类别序列中的类别标签进行错排， 以形成错排类别序列， 其中， 所述原始类别序 列为基于所述机器学习的所有训练样本所属的类别标签生成的； 基于所述目标训练样本和所述 错排类别序列生成错 排输入数据； 以所述错排输入数据对机器学习模型进行训练。 2.根据权利要求1所述的机器学习的均衡方法， 其特征在于， 所述原始类别序列的生成 过程具体包括： 获取所述机器学习的所有训练样本所属的类别标签， 并随机排列获取到的所有类别标 签以生成原 始类别序列。 3.根据权利要求2所述的机器学习的均衡方法， 其特征在于， 所述主要类别为数据量大 于预设数量的类别标签， 其中， 所述数据量 为属于所述类别标签的训练样本的数量。 4.根据权利要求1 ‑3任意一项所述的机器学习的均衡方法， 其特征在于， 对所述原始类 别序列中的类别标签进行错 排， 以形成错 排类别序列的步骤， 具体包括： 对所述原始类别序列中的各类别标签按照各自对应的数据量进行降序排列后， 以得到 初始类别序列； 在所述初始类别序列中， 从前向后选取预设个数的类别标签作为目标错排类别， 其中， 预设个数的类别标签不包括所述目标训练样本对应的正确类别标签； 在所述原 始类别序列中对选取到的目标错 排类别进行全错 排， 以形成错 排类别序列。 5.根据权利要求4所述的机器学习的均衡方法， 其特征在于， 所述基于所述目标训练样 本和所述 错排类别序列生成错 排输入数据的步骤， 具体包括： 将所述目标训练样本与所述 错排类别序列相连接， 以生成所述 错排输入数据。 6.根据权利要求4所述的机器学习的均衡方法， 其特征在于， 所述机器学习的模型包括 样本训练模块以及预测模块， 所述以所述错排输入数据对机器学习模型进行训练的步骤， 具体包括： 将所述错排输入数据输入所述样本训练模块， 通过所述样本训练模块确定所述错排输 入数据对应的语境化表达向量； 所述语境化表达向量包括所述目标训练样本中的语义词组 对应的语境 化表达向量和所述 错排类别序列中类别标签对应的语境 化表达向量； 提取所述错排类别序列中类别标签对应的语境化表达向量， 并输入所述预测模块， 通 过所述预测模块确定所述 错排输入数据对应的各个 类别标签的概 率； 基于各类别标签的概率确定所述错排输入数据对应的预测类别， 并基于所述预测类别 对所述机器学习模型的训练进行调整。 7.根据权利要求1 ‑3任意一项所述机器学习的均衡方法， 其特征在于， 所述的方法还包 括： 对于所属正确类别为 次要类别的训练样本， 以及所属正确类别为主要类别且未被筛选 为目标训练样本的训练样本， 基于所述训练样本和所述原始类别序列生成输入数据， 并以 所述输入数据对所述机器学习模型进行训练。 8.根据权利要求7所述机器学习的均衡方法， 其特征在于， 所述基于所述训练样本和所权　利　要　求　书 1/2 页 2 CN 114462620 A 2述原始类别序列生成输入数据， 并以所述输入数据对所述机器学习模型进行训练， 具体包 括： 将所述训练样本与所述原 始类别序列相连接， 以生成所述输入数据。 9.根据权利要求7所述的机器学习的均衡方法， 其特征在于， 所述机器学习的模型包括 样本训练模块以及预测模块， 所述以所述输入数据对所述机器学习模型进行训练的步骤， 具体包括： 将所述输入数据输入所述样本训练模块， 通过所述样本训练模块确定所述输入数据对 应的语境化表达向量； 所述语境化表达向量包括所述训练样本中的语义词组对应的语境化 表达向量和所述原 始类别序列中类别标签对应的语境 化表达向量； 提取所述原始类别序列中类别标签对应的语境化表达向量， 并输入所述预测模块， 通 过所述预测模块确定所述输入数据对应的各个 类别标签的概 率； 基于各类别标签的概率确定所述输入数据对应的预测类别， 并基于所述预测类别对所 述机器学习模型的训练进行调整。 10.一种机器学习的均衡装置， 其特 征在于， 所述的装置包括： 筛选模块， 从所属正确类别为主要类别的训练样本中， 按照预设概率筛选部分训练样 本作为目标训练样本； 形成模块， 用于对原始类别序列中的类别标签进行错排， 以形成错排类别序列， 其中， 所述原始类别序列为基于所述机器学习的所有训练样本所属的类别标签生成的； 生成模块， 用于基于所述目标训练样本和所述 错排类别序列生成错 排输入数据； 训练模块， 用于以所述 错排输入数据对机器学习模型进行训练。 11.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有一个或者 多个程序， 所述一个或者多个程序可被一个或者多个处理器执行， 以实现如权利要求 1‑9任 意一项所述的机器学习的均衡方法中的步骤。 12.一种终端设备， 其特征在于， 包括： 处理器、 存储器及通信总线； 所述存储器上存储 有可被所述处 理器执行的计算机可读程序； 所述通信总线实现处 理器和存 储器之间的连接通信； 所述处理器执行所述计算机可读程序时实现如权利要求1 ‑9任意一项所述的机器学习 的均衡方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114462620 A 3