(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111661609.X (22)申请日 2021.12.31 (71)申请人 上海商汤科技 开发有限公司 地址 201306 上海市浦东 新区中国 （上海） 自由贸易试验区临港新片区环湖西二 路888号C楼 (72)发明人 池沐聪　赵伟　牛雅哲　刘宇　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 代理人 袁忠林 (51)Int.Cl. G06F 9/54(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01)H04L 67/131(2022.01) (54)发明名称 数据传输方法、 装置、 电子设备及存 储介质 (57)摘要 本公开提供了一种数据传输方法、 装置、 电 子设备及存储介质， 应用于数据管理节点， 该方 法包括： 接收至少一个数据产生节 点发送的元数 据， 其中， 元数据包括训练数据的标识号、 训练数 据所在的数据产生节点的节点信息以及至少一 个预读取节 点的节点信息； 基于训练数据的标识 号以及训练数据所在的数据产生节点的节点信 息， 确定可访问节点， 以及基于训练数据的标识 号与所述至少一个预读取节点的节 点信息， 确定 数据预读取节 点； 向数据预读取节 点中的至少一 个预读取节 点发送数据读取命令， 使得每个预读 取节点响应数据读取命令从可访问节点中的目 标数据产生节点获取训练数据。 本公开实施例， 将训练数据预先发送至预读取节 点， 可以降低数 据传输的等待时长 。 权利要求书3页 说明书20页 附图11页 CN 114356601 A 2022.04.15 CN 114356601 A 1.一种数据传输方法， 其特 征在于， 应用于数据管理节点， 所述方法包括： 接收至少一个数据产生节点发送的元数据， 其中， 所述元数据包括训练数据的标识号、 所述训练数据所在的数据 产生节点的节点信息以及至少一个预读取节点的节点信息； 基于所述训练数据的标识号以及所述训练数据所在的数据产生节点的节点信 息， 确定 可访问节点， 以及基于所述训练数据的标识号与所述至少一个预读取节点的节点信息， 确 定数据预读取节点； 向所述数据预读取节点中的至少一个预读取节点发送数据读取命令， 使得所述至少一 个预读取节点响应所述数据读取命令从所述可访问节点中的目标数据产生节点获取所述 训练数据。 2.根据权利要求1所述的方法， 其特征在于， 所述向所述数据预读取节点中的至少一个 预读取节点发送数据读取命令， 包括： 在接收到所述数据产生节点发送的元数据的情况下， 基于所述数据预读取节点， 向所 述数据预读取节点中的至少一个预读取节点发送数据读取命令； 和/或， 响应于所述数据 预读取节点中的目标预读取节点发送的数据查询 请求， 向所述目标预 读取节点发送数据读取命令 。 3.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 接收所述预读取节点获取完成所述训练数据而生成的节点更新指令， 所述节点更新指 令携带所述预读取节点的节点信息； 根据所述预读取节点的节点信息， 更新所述可访问节点。 4.根据权利要求1所述的方法， 其特征在于， 所述向所述数据预读取节点中的至少一个 预读取节点 发送数据读取命令， 使得所述至少一个预读取节点响应所述数据读取命令从所 述可访问节点中的目标 数据产生节点获取 所述训练数据， 包括： 确定所述数据预读取节点中等待传输节点的数量； 在所述等待传输节点的数量不为零的情况下， 从所述等待传输节点中确定任一等待传 输节点为目标等待传输节点， 以及从所述可访问节点中确定任一数据产生节点为所述目标 数据产生节点， 并向所述 目标等待传输节点发送所述数据读取命令， 使得所述目标等待传 输节点响应所述数据读取命令从所述 目标数据产生节点获取所述训练数据并保存， 其中， 所述数据读取命令携带 所述目标 数据产生节点的节点信息 。 5.根据权利要求4所述的方法， 其特征在于， 所述从所述等待传输节点中确定任一等待 传输节点为目标等待传输节点， 以及从所述可访问节点中确定任一数据产生节点为所述目 标数据产生节点， 并向所述目标等待传输节点发送所述数据读取命令之后， 还 包括： 确定所述数据预读取节点中正在 传输节点的数量增 加一； 在所述数据预读取节点中任一正在传输节点完成传输任务的情况下， 确定所述正在传 输节点的数量减少一。 6.一种数据传输方法， 其特 征在于， 应用于预读取节点， 所述方法包括： 接收数据管理节点发送的数据读取命令， 其中， 所述数据读取命令携带目标数据产生 节点的节点信息； 基于所述目标数据产生节点的节点信息以及所述预读取节点需要的目标训练数据的 标识号， 从所述目标数据产生节点获取与所述标识号对应的训练数据， 并将所述训练数据权　利　要　求　书 1/3 页 2 CN 114356601 A 2进行保存。 7.根据权力要求6所述的方法， 其特征在于， 所述接收数据 管理节点发送的数据读取命 令之前， 所述方法还 包括： 判断所述预读取节点中是否存在所述目标训练数据； 在所述预读取节点中不存在所述目标训练数据的情况下， 基于所述目标训练数据的标 识号， 向所述数据管理节点发送数据查询请求， 使得所述数据管理节点响应所述数据查询 请求发送所述数据读取命令 。 8.根据权利要求6所述的方法， 其特征在于， 所述基于所述目标数据产生节点的节点信 息以及所述预读取节 点需要的目标训练数据的标识 号， 从所述目标数据产生节点 获取与所 述标识号对应的训练数据， 包括： 基于所述目标数据产生节点的节点信 息， 确定所述目标训练数据 所在的目标数据产生 节点； 基于所述目标训练数据的标识号， 生成数据获取请求； 将所述数据获取请求发送至所述目标数据产生节点， 并接收所述目标数据产生节点响 应于所述数据获取请求而发送的与所述标识号对应的训练数据。 9.根据权利要求6所述的方法， 其特征在于， 所述基于所述目标数据产生节点的节点信 息以及所述预读取节 点需要的目标训练数据的标识 号， 从所述目标数据产生节点 获取与所 述标识号对应的训练数据， 并将所述训练数据进行保存之后， 所述方法还 包括： 基于所述预读取节点的节点信息， 生成节点更新指令； 将所述节点更新指令发送至所述数据 管理节点， 以使所述数据 管理节点响应所述节点 更新指令， 并基于所述预读取节点的节点信息更新可访问节 点， 其中， 所述可访问节点是基 于所述数据 产生节点产生的训练数据的标识号以及所述数据 产生节点的节点信息生成的。 10.一种数据传输方法， 其特 征在于， 应用于数据 产生节点， 所述方法包括： 基于至少一个训练任务， 产生至少一组训练数据， 其中， 每组训练数据 具有不同的标识 号； 基于所述每组训练数据 所指示的数据内容， 确定需要所述每组训练数据的至少一个预 读取节点的节点信息； 基于所述每组训练数据的标识号、 所述每组训练数据所在的数据产生节点的节点信 息 以及至少一个预读取节点的节点信息， 生成对应的元 数据； 将所述元数据发送至数据管理节点， 使得所述数据管理节点对所述元数据进行管理， 并使得每 个预读取节点 通过所述数据管理节点获取与所述标识号对应的训练数据。 11.根据权利要求10所述的方法， 其特征在于， 所述将所述元数据发送至数据 管理节点 之后， 所述方法还 包括： 接收至少一个预读取节点的数据获取请求， 并确定所述数据获取请求所携带的目标训 练数据的标识号； 基于所述目标训练数据的标识号， 将与 所述标识号对应的训练数据发送至所述预读取 节点。 12.一种数据传输装置， 其特 征在于， 包括： 接收模块， 用于接收至少一个数据产生节点发送的元数据， 其中， 所述元数据包括训练权　利　要　求　书 2/3 页 3 CN 114356601 A 3