(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111669027.6 (22)申请日 2021.12.31 (71)申请人 国家超级计算无锡中心 地址 214000 江苏省无锡市滨湖区吟白路1 号 (72)发明人 郑天宇　刘鑫　陈德训　叶跃进　 刘沙　彭超　陈龙得　王乐　 (74)专利代理 机构 无锡知之 火专利代理事务所 (特殊普通 合伙) 32318 代理人 袁粉兰 (51)Int.Cl. G06N 20/00(2019.01) G06F 16/901(2019.01) (54)发明名称 数据并行中优化dropout的方法 (57)摘要 本发明提供的一种数据并行中优化dropout 的方法， 包括： 在并行训练时， 人工设定存储桶的 大小， 根据存储桶的大小以及每条数据所占空间 大小计算每个存储桶存放的数据量； 在定义模型 时输入dropout 跳过的数据比例； 前向计算前， 确 定该数据是否需要跳过， 若该数据需要跳过， 则 生成索引； 根据该索引获取每个存储桶中需要跳 过的数据量， 并依据需要跳过的数据量计算出每 个存储桶中需要跳过的数据量占比； 若存储桶中 需要跳过的数据量大于dropout跳 过的数据量比 例时， 对该存储桶内的所有数据进行标记； 在实 际计算时， 跳过被标记的数据。 本发明通过直接 跳过被标记的数据， 直接减少了传递的数据量， 进而减少通信时间， 实现加速效果， 同时能够保 留Dropout减少过拟合的优点。 权利要求书1页 说明书3页 附图1页 CN 114330751 A 2022.04.12 CN 114330751 A 1.一种数据并行中优化dropout的方法， 其特 征在于， 包括： 在并行训练时， 人工设定存储桶的大小， 根据存储桶的大小以及每条数据所占空间大 小计算每 个存储桶存放的数据量； 在定义模型时输入dropout跳过的数据比例； 前向计算前， 确定该 数据是否需要跳过， 若该 数据需要跳过， 则生成索引； 根据该索引获取每个存储桶中需要跳过的数据量， 并依据需要跳过的数据量计算出每 个存储桶中需要跳过的数据量占比； 若存储桶中需要跳过的数据量大于dropout跳过的数据量比例时， 对该存储桶内的所 有数据进行 标记； 在实际计算时， 跳过被标记的数据。 2.如权利 要求1所述的数据并行中优化dropout的方法， 其特征在于， 在步骤 “若存储桶 中需要跳过的数据量大于dropout跳过的数据量比例时， 对该存储桶内的所有数据进行标 记”之后还包括： 若存储桶中存在被标记的数据时， 该存储桶不进行数据通信， 在反向计算梯度时该存 储桶内的数据全部 跳过。权　利　要　求　书 1/1 页 2 CN 114330751 A 2数据并行中优化dropout的方 法 技术领域 [0001]本发明涉及数据优化领域， 尤其涉及一种数据并行中优化dropout的方法。 背景技术 [0002]在深度学习训练过程中， 针对大数据量、 长周期训练任务， 深度学习框架提供了分 布式训练模式。 数据并行通过Broadcast操作将模型和初始参数分布到不同设备上分别计 算。 计算完成后使用Allreduce操作 收集梯度后更新到计算设备上继续计算。 在收集梯度 时， 使用存储桶存放梯度， 不同设备间以存储桶为单位进行通信。 训练模型时通常加入 Dropout函数随机 跳过部分数据， 避免模型 过拟合， 提高训练速度。 [0003]单机模式下使用Dropout后， 在正向计算时随机跳过部分数据并进行标记， 在反向 更新时能够自动跳过那些不参与的计算的数据， 最后将计算完成后的结果用于参数更新。 数据并行模式下使用Dropout时将需要跳过的参数在正向计算时进行标记， 在反向计算梯 度时， 会自动跳过标记的数据。 由于从数据到存储桶的映射是固定的， Allreduce操作使用 存储桶作为数据传递的最小单位， 因此无论前向计算时如何跳过参数， 在反向计算后始终 有相同数量的梯度需要传递从而导 致通信时间不会 减少。 发明内容 [0004]针对上述技术问题， 本 发明提供一种数据并行中优化dropout的方法， 以在通信减 少传递的数据量， 缩短通信时间。 [0005]为实现上述目的， 本发明采取的技 术方案为： [0006]本发明提供的一种数据并行中优化dropout的方法， 包括： [0007]在并行训练时， 人工设定存储桶的大小， 根据存储桶的大小以及每条数据所占空 间大小计算每 个存储桶存放的数据量； [0008]在定义模型时输入dropout跳过的数据比例； [0009]前向计算前， 确定该 数据是否需要跳过， 若该 数据需要跳过， 则生成索引； [0010]根据该索引获取每个存储桶中需要跳过的数据量， 并依据需要跳过的数据量计算 出每个存储桶中需要跳过的数据量占比； [0011]若存储桶中需要跳过的数据量大于dropout跳过的数据量比例时， 对该存储桶内 的所有数据进行 标记； [0012]在实际计算时， 跳过被标记的数据。 [0013]本发明提供的一种数据 并行中优化dropout的方法， 优选地， 在步骤 “若存储桶中 需要跳过的数据量大于dropout跳过的数据量比例时， 对 该存储桶内的所有 数据进行标记 ” 之后还包括： [0014]若存储桶中存在被标记的数据时， 该存储桶不进行数据通信， 在反向计算梯度时 该存储桶内的数据全部 跳过。 [0015]上述技术方案具有如下优点或者有益效果：说　明　书 1/3 页 3 CN 114330751 A 3