(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111351600.9 (22)申请日 2021.11.15 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王国霞　李龙　吴志华　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 杨静 (51)Int.Cl. G06N 20/00(2019.01) G06F 16/23(2019.01) (54)发明名称 数据处理方法、 装置、 电子设备以及存储介 质 (57)摘要 本公开提供了数据处理方法、 装置、 电子设 备以及存储介质， 涉及计算机、 数据处理技术领 域， 尤其涉及自然语言 处理、 深度学习等领域。 具 体实现方案为： 在与待优化数据相对应的梯度所 确定的矩阵为稀 疏矩阵的情况下， 获取第一优化 算子； 从待优化数据中确定至少一个第一待优化 参数， 其中， 与至少一个第一待优化参数相对应 的梯度为非零梯度； 针对每个第一待优化参数， 根据第一待优化参数和与第一待优化参数相对 应的梯度， 利用第一优化算子， 确定与第一待优 化参数相对应的第一优化后数据， 得到至少一个 第一优化后数据； 以及根据至少一个第一优化后 数据， 对待优化数据进行 更新。 权利要求书3页 说明书14页 附图4页 CN 114048863 A 2022.02.15 CN 114048863 A 1.一种数据处 理方法， 包括： 在与待优化数据相对应的梯度 所确定的矩阵为稀疏矩阵的情况下， 获取用于数据优化 的第一优化 算子； 从所述待优化数据中确定至少一个第一待优化参数， 其中， 与所述至少一个第一待优 化参数相对应的梯度为非零梯度； 针对每个所述第 一待优化参数， 根据 所述第一待优化参数和与 所述第一待优化参数相 对应的梯度， 利用所述第一优化算子， 确定与所述第一待优化参数相对应的第一优化后数 据， 得到至少一个第一优化后数据； 以及 根据所述至少一个第一优化后数据， 对所述待优化数据进行 更新。 2.根据权利要求1所述的方法， 还 包括： 针对所述待优化数据中的每个第二待优化参数， 利用所述第一优化算子， 确定与所述 第二待优化参数相对应的第二优化后数据， 得到至少一个第二优化后数据， 其中， 与所述至 少一个第二待优化 参数相对应的梯度为 零梯度； 以及 根据所述至少一个第 一优化后数据和所述至少一个第 二优化后数据， 对所述待优化数 据进行更新。 3.根据权利要求1所述的方法， 其中， 所述从所述待优化数据中确定至少一个第 一待优 化参数包括： 确定所述至少一个第一待优化 参数在所述待优化数据中的位置的第一索引信息； 以及 根据所述待优化数据和所述第一索引信息， 确定所述至少一个第一待优化 参数。 4.根据权利要求2所述的方法， 其中， 所述利用所述第一优化算子， 确定与所述第二待 优化参数相对应的第二优化后数据包括： 在确定所述第 一优化算子包括优化器变量的情况下， 根据 所述第二待优化参数和与 所 述第二待优化参数相对应的第二 目标优化器变量， 利用所述第一优化算子， 确定与所述第 二待优化 参数相对应的第二优化后数据。 5.根据权利要求2所述的方法， 其中， 所述利用所述第一优化算子， 确定与所述第二待 优化参数相对应的第二优化后数据包括： 在确定所述第 一优化算子不包括优化器变量的情况下， 将所述第 二待优化参数确定为 与所述第二待优化 参数相对应的第二优化后数据。 6.根据权利要求1所述的方法， 还 包括： 在与待优化数据相对应的梯度 所确定的矩阵为非稀疏矩阵的情况下， 获取用于数据优 化的第二优化 算子； 针对所述待优化数据中的每个第 三待优化参数， 根据所述第 三待优化参数和与所述第 三待优化参数相对应的梯度， 利用所述第二优化算子， 确定与所述第三待优化参数相对应 的第三优化后数据； 以及 根据所述第三优化后数据， 对所述待优化数据进行 更新。 7.根据权利要求1至6中任一所述的方法， 其中， 所述第一优化算子包括以下中的至少 一个： 基于随机梯度下降法确定的优化算子、 基于批量梯度下降法确定的优化算子、 基于小 批量梯度下降法确定的优化 算子和基于动量梯度下降法确定的优化 算子。 8.根据权利要求6所述的方法， 其中， 所述第二优化算子包括以下中的至少一个： 基于权　利　要　求　书 1/3 页 2 CN 114048863 A 2随机梯度下降法确定的优化算子、 基于批量梯度下降法确定的优化算子、 基于小批量梯度 下降法确定的优化 算子和基于动量梯度下降法确定的优化 算子。 9.根据权利要求1至8中任一所述的方法， 其中， 所述待优化数据包括以下中的至少一 个： 与图像处理模型中的参数相对应的数据、 与文本处理模型中的参数相对应的数据和与 音频处理模型中的参数相对应的数据。 10.一种数据处 理装置， 包括： 第一获取模块， 用于在与待优化数据相对应的梯度所确定的矩阵为稀疏矩阵的情况 下， 获取用于数据优化的第一优化 算子； 第一确定模块， 用于从所述待优化数据中确定至少一个第 一待优化参数， 其中， 与所述 至少一个第一待优化 参数相对应的梯度为非零梯度； 第二确定模块， 用于针对每个所述第一待优化参数， 根据所述第一待优化参数和与所 述第一待优化参数相对应的梯度， 利用所述第一优化算子， 确定与所述第一待优化参数相 对应的第一优化后数据， 得到 至少一个第一优化后数据； 以及 第一更新模块， 用于根据所述至少一个第一优化后数据， 对所述待优化数据进行 更新。 11.根据权利要求10所述的装置， 还 包括： 第三确定模块， 用于针对所述待优化数据中的每个第二待优化参数， 利用所述第一优 化算子， 确定与所述第二待优化参数相对应的第二优化后数据， 得到至少一个第二优化后 数据， 其中， 与所述至少一个第二待优化 参数相对应的梯度为 零梯度； 以及 第二更新模块， 用于根据所述至少一个第 一优化后数据和所述至少一个第 二优化后数 据， 对所述待优化数据进行 更新。 12.根据权利要求10所述的装置， 其中， 所述第一确定模块包括： 第一确定单元， 用于确定所述至少一个第 一待优化参数在所述待优化数据中的位置的 第一索引信息； 以及 第二确定单元， 用于根据所述待优化数据和所述第一索引信息， 确定所述至少一个第 一待优化 参数。 13.根据权利要求1 1所述的装置， 其中， 所述第三确定模块包括： 第三确定单元， 用于在确定所述第一优化算子包括优化器变量的情况下， 根据所述第 二待优化参数和与所述第二待优化参数相对应的第二目标优化器变量， 利用所述第一优化 算子， 确定与所述第二待优化 参数相对应的第二优化后数据。 14.根据权利要求1 1所述的装置， 其中， 所述第三确定模块包括： 第四确定单元， 用于在确定所述第一优化算子不包括优化器变量的情况下， 将所述第 二待优化 参数确定为与所述第二待优化 参数相对应的第二优化后数据。 15.根据权利要求10所述的装置， 还 包括： 第二获取模块， 用于在与待优化数据相对应的梯度 所确定的矩阵为非稀疏矩阵的情况 下， 获取用于数据优化的第二优化 算子； 第四确定模块， 用于针对所述待优化数据中的每个第三待优化参数， 根据所述第三待 优化参数和与所述第三待优化参数相对应的梯度， 利用所述第二优化算子， 确定与所述第 三待优化 参数相对应的第三优化后数据； 以及权　利　要　求　书 2/3 页 3 CN 114048863 A 3