(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210242894.X (22)申请日 2022.03.11 (71)申请人 深圳依时货拉 拉科技有限公司 地址 518000 广东省深圳市福田区梅林街 道梅林路卓越梅林中心广场(南区)A 座2202 (72)发明人 曾启飞　 (74)专利代理 机构 深圳瑞天谨诚知识产权代理 有限公司 4 4340 专利代理师 温青玲 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) (54)发明名称 模型训练方法、 电子设备以及存 储介质 (57)摘要 本申请实施例公开了一种模 型训练方法、 电 子设备以及存储介质， 包括： 获取包括目标样本 集； 基于所述目标样本集对预训练的参考模型进 行调参， 得到调参后模型； 确定调参过程中， 所述 参考模型的预设参数对于所述目标样本集的参 考权重； 根据确定的参考权重对 预设基础模型进 行知识蒸馏， 得到目标模型， 该方案可 以提高蒸 馏得到的学生模型(即目标模型)的预估能力。 权利要求书2页 说明书10页 附图2页 CN 114611692 A 2022.06.10 CN 114611692 A 1.一种模型训练方法， 其特 征在于， 包括： 获取包括目标样本集； 基于所述目标样本集对预训练的参 考模型进行调参， 得到调参后模型； 确定调参过程中， 所述 参考模型的预设参数对于所述目标样本集的参 考权重； 根据确定的参 考权重对预设基础模型进行知识蒸馏， 得到目标模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据确定的参考权重对预设基础模型 进行知识蒸馏， 得到目标模型， 包括： 计算所述调参后模型中各网络层对应的参 考权重之和； 根据计算结果在所述调参后模型选择参 考网络层； 将选择的参 考网络层蒸馏至预设基础模型中， 得到目标模型。 3.根据权利要求2所述的方法， 其特征在于， 所述根据计算结果在所述调参后模型选择 参考网络层， 包括： 根据计算结果对所述调参后面模型的网络层进行排序； 在排序后的网络层中选择目标序号的网络层为 参考网络层。 4.根据权利要求3所述的方法， 其特征在于， 所述在排序后的网络层中选择目标序号的 网络层为 参考网络层， 包括： 识别预设基础模型中网络层对应的层数； 根据所述层数， 在排序后的网络层中选择目标序号的网络层为 参考网络层。 5.根据权利要求2所述的方法， 其特征在于， 所述将选择的参考网络层蒸馏至预设基础 模型中， 得到目标模型， 包括： 根据所述参考网络层之间的顺序以及所述基础模型中目标网络层 之间的顺序， 构建所 述参考网络层与目标网络层之间的映射关系； 基于所述映射关系， 将所述目标网络层的参数 更新为所述参考网络层的参数。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述确定调参过程中， 所述参考 模型的预设参数对于所述目标样本集的参 考权重， 包括： 提取所述目标样本集中每 个目标样本的样本标签； 获取调参过程中， 所述 参考模型针对所述目标样本的预测标签； 基于所述样本标签和预测标签， 确定所述参考模型的预设参数对于所述目标样本集的 参考权重。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述样本标签和预测标签， 确定 所述参考模型的预设参数对于所述目标样本集的参 考权重， 包括： 获取预设权重计算公式； 根据所述权重计算公式、 样本标签和预测标签， 确定所述参考模型的预设参数对于所 述目标样本集的参 考权重。 8.根据权利要求1至5任一项所述的方法， 其特征在于， 所述基于所述目标样本集对预 训练的参 考模型进行调参， 得到调参后模型， 包括： 基于所述目标样本集对预训练 的参考模型中全连接层对应的参数、 激活函数对应的参 数和/或卷积层对应的参数进行调整， 得到调参后模型。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算权　利　要　求　书 1/2 页 2 CN 114611692 A 2机程序， 其中， 所述处理器执行所述程序时实现如权利要求 1‑8任一项所述模型训练方法的 步骤。 10.一种计算机可读存储介质， 其特征在于， 其上存储有计算机程序， 其中， 所述计算机 程序被处 理器执行时实现如权利要求1 ‑8任一项所述模型训练方法的步骤。权　利　要　求　书 2/2 页 3 CN 114611692 A 3