(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111312626.2 (22)申请日 2021.11.08 (65)同一申请的已公布的文献号 申请公布号 CN 114091685 A (43)申请公布日 2022.02.25 (73)专利权人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 曹州　敖玉龙　梁建中　吴志华　 于佃海　 (74)专利代理 机构 北京鸿德 海业知识产权代理 有限公司 1 1412 专利代理师 田宏宾 (51)Int.Cl. G06N 20/00(2019.01)G06F 9/50(2006.01) (56)对比文件 CN 113485836 A,2021.10.08 CN 113485836 A,2021.10.08 CN 109993299 A,2019.07.09 CN 113485837 A,2021.10.08 CN 113282880 A,2021.08.20 CN 112132287 A,2020.12.25 CN 110263923 A,2019.09.20 王艺豪.“分布式张量列分解 算法的设计与 实现”. 《中国优秀博硕士学位 论文全文数据库 （硕士） 信息科技 辑》 .2019,(第12期), Yuanzhong Xu et al. .“Automatic Cros s- Replica Shardi ng of Weight Update i n Data-Paral lel Trai ning”. 《arxiv》 .2020, 审查员 赵慧敏 (54)发明名称 深度学习框架的张量切分方法、 装置、 设备 和存储介质 (57)摘要 本公开提供了一种深度学习框架的张量切 分方法、 装置、 设备和存储介质， 涉及计算机技术 领域， 具体涉及深度学习等人工智能领域。 深度 学习框架的张量切分方法包括： 获取原始切片， 所述原始切片基于原始分布式属性对张量进行 切分后获得； 将所述原始切片拼接成待处理切 片； 基于所述张量的目标分布式属性， 将所述待 处理切片切分为目标切片。 本公开可以提高张量 切分的通用性。 权利要求书2页 说明书10页 附图17页 CN 114091685 B 2022.08.23 CN 114091685 B 1.一种深度学习框架的张量切分方法， 包括： 获取原始切片， 所述原 始切片基于原 始分布式属性对张量进行切分后获得； 将所述原 始切片拼接成待处 理切片； 基于所述张量的目标分布式属性， 将所述待处 理切片切分为目标切片； 其中， 所述原始切片分布在原始进程组内， 所述目标切片分布在目标进程组内， 所述获 取原始切片， 包括： 针对所述原始切片为所述原始进程组中各个原始进程上的原始切片， 若所述目标进程 组与所述原始进程组一致， 且所述张量为均匀切分， 基于集合通信， 获取所述各个原始进程 上的原始切片； 或者， 若所述目标进程组与所述原始进程组一致， 且所述张量为非均匀切 分， 采用所述目标进程组内的预设进程， 基于收发通信， 获取所述各个原始进程中除了所述 预设进程之外的其 他进程上的原 始切片； 或者， 针对所述原始切片为所述原始进程组中部分原始进程上的原始切片， 所述部分原始进 程上的原始切片为与所述目标切片存在交集的原始切片， 若 所述目标进程组与所述原始进 程组不一致， 基于收发通信， 获取 所述与所述目标切片存在交集的原 始切片。 2.根据权利要求1所述的方法， 其中， 所述原始切片为所述原始进程组中各个原始进程 上的原始切片， 所述将所述原 始切片拼接成待处 理切片， 包括： 对所述各个原始进程上的原始切片进行拼接， 以获得所述张量的全量张量， 将所述全 量张量作为所述待处 理切片。 3.根据权利要求2所述的方法， 其中， 所述拼接采用所述预设进程执行， 所述方法还包 括： 采用所述预设进程， 将所述全量张量广播给所述目标进程组中除了所述预设进程之外 的其他进程。 4.根据权利要求1所述的方法， 其中， 所述原始切片为所述原始进程组中部分原始进程 上的原始切片， 所述将所述原 始切片拼接成待处 理切片， 包括： 对所述部分原始进程上的原始切片进行拼接， 以获得所述张量的部分张量， 将所述部 分张量作为所述待处理切片， 所述部分 张量为覆盖所述目标切片且对应最少原始切片的张 量。 5.根据权利要求1 ‑4任一项所述的方法， 其中， 所述将所述原始切片拼接成待处理切 片， 包括： 将所述原 始切片的并集， 作为所述待处 理切片。 6.一种深度学习框架的张量切分装置， 包括： 获取模块， 用于获取原始切片， 所述原始切片基于原始分布式属性对张量进行切分后 获得； 拼接模块， 用于将所述原 始切片拼接成待处 理切片； 切分模块， 用于基于所述张量的目标分布式属性， 将所述待处 理切片切分为目标切片； 其中， 所述原始切片分布在原始进程组内， 所述目标切片分布在目标进程组内， 所述获 取模块进一 步用于： 针对所述原始切片为所述原始进程组中各个原始进程上的原始切片， 若所述目标进程 组与所述原始进程组一致， 且所述张量为均匀切分， 基于集合通信， 获取所述各个原始进程权　利　要　求　书 1/2 页 2 CN 114091685 B 2上的原始切片； 或者， 若所述目标进程组与所述原始进程组一致， 且所述张量为非均匀切 分， 采用所述目标进程组内的预设进程， 基于收发通信， 获取所述各个原始进程中除了所述 预设进程之外的其 他进程上的原 始切片； 或者， 针对所述原始切片为所述原始进程组中部分原始进程上的原始切片， 所述部分原始进 程上的原始切片为与所述目标切片存在交集的原始切片， 若 所述目标进程组与所述原始进 程组不一致， 基于收发通信， 获取 所述与所述目标切片存在交集的原 始切片。 7.根据权利要求6所述的装置， 其中， 所述原始切片为所述原始进程组中各个原始进程 上的原始切片， 所述 拼接模块进一 步用于： 对所述各个原始进程上的原始切片进行拼接， 以获得所述张量的全量张量， 将所述全 量张量作为所述待处 理切片。 8.根据权利要求7所述的装置， 其中， 所述拼接采用所述预设进程执行， 所述装置还包 括： 广播模块， 用于采用所述预设进程， 将所述全量张量广播给所述目标进程组中除了所 述预设进程之外的其 他进程。 9.根据权利要求6所述的装置， 其中， 所述原始切片为所述原始进程组中部分原始进程 上的原始切片， 所述 拼接模块进一 步用于： 对所述部分原始进程上的原始切片进行拼接， 以获得所述张量的部分张量， 将所述部 分张量作为所述待处理切片， 所述部分 张量为覆盖所述目标切片且对应最少原始切片的张 量。 10.根据权利要求6 ‑9任一项所述的装置， 其中， 所述 拼接模块进一 步用于： 将所述原 始切片的并集， 作为所述待处 理切片。 11.一种电子设备， 包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被所述至少一个处 理器执行， 以使所述至少一个处 理器能够执 行权利要求1 ‑5中任一项所述的方法。 12.一种存储有计算机指令的非瞬时计算机可读存储介质， 其中， 所述计算机指令用于 使所述计算机执 行根据权利要求1 ‑5中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114091685 B 3