(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111284302.2 (22)申请日 2021.11.01 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 陈全　白铠豪　 (74)专利代理 机构 上海光华专利事务所(普通 合伙) 31219 代理人 庞红芳 (51)Int.Cl. G06N 20/00(2019.01) G06F 9/48(2006.01) G06F 9/54(2006.01) G06F 9/52(2006.01) (54)发明名称 基于双层索引嵌入层的推荐模型分布式训 练方法及GPU (57)摘要 本发明提供一种基于双层索引嵌入层的推 荐模型分布式训练方法及GPU， 所述方法包括： 于 服务器节点和计算节点对于嵌入层向量分别构 造两层索引， 其中， 所述服务器节点内为静态索 引， 所述计算节点内为动态索引； 在所述服务器 节点引入采样器， 根据采样数据制定分片策略； 在所述计算节点引入乒乓缓冲区读取和写入嵌 入层向量， 并基于相邻迭代的输入 预取所述嵌入 层向量， 形成数据预取流水线。 本发明能够在确 保模型预测性能不下降的前提下， 提升了推荐模 型训练的总吞吐量， 增强了分布式训练的可扩展 性， 有效地支持大规模嵌入层推荐 模型的训练。 权利要求书2页 说明书6页 附图2页 CN 114021736 A 2022.02.08 CN 114021736 A 1.一种基于双 层索引嵌入层的推荐模型分布式训练方法， 其特 征在于： 所述方法包括： 于服务器节点和计算节点对于嵌入层 向量分别构造两层索引， 其中， 所述服务器节点 内为静态索引， 所述计算节点内为动态索引； 在所述服务器节点引入 采样器， 根据采样数据制定分片策略； 在所述计算节点引入乒乓缓冲区读取和写入嵌入层向量， 并基于相邻迭代的输入预取 所述嵌入层向量， 形成数据预 取流水线。 2.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述于服 务器节点和计算节点对于嵌入层向量分别构造 两层索引包括： 通过参数服务器架构将完整的嵌入层初始化在服务器节点， 并在服务器节点构造第 一 层索引用于嵌入层的参数同步更新； 在计算节点内预分配与输入维度和计算节点内工作节点个数相关的显存空间， 在每个 迭代周期聚合各工作节点的输入动态构造第二层 索引以支持 嵌入层计算。 3.根据权利要求1或2所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征 在于： 还包括： 基于索引结构的通信方式配置： 所述在计算节点内先聚合各工作节点的输 入， 并初始化 通信缓冲区代替工作节点与服 务器节点 通信。 4.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述根据采样数据制定分片策略包括： 采样器根据采样规则对训练集进行采样得到嵌入层的访问频率； 再通过预先设定的阈值筛 选出嵌入层热点 参数， 并通过 热点位图记录热点 参数； 根据热点参数的访问频率， 通过可更换的热点感知 分片策略在各服务器节点再次将热 点参数初始化， 建立嵌入层 索引到服 务器节点的分片映射表； 在训练时基于所述热点位图判断当前嵌入向量是否为热点参数， 若是则根据 所述分片 映射表拉取和更新嵌入向量， 并旁路原有映射。 5.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述在所述计算节点引入乒乓缓冲区读取和写入嵌入层向量包括： 根据预设的输入维度建立乒乓缓冲区， 包 含可读缓冲区和可写缓冲区； 可读缓冲区服务于当前迭代的嵌入层计算， 可写缓冲区基于下一迭代的输入写入对应 的嵌入层向量。 6.根据权利要求5所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述数据预取流水线根据当前迭代和下一迭代的输入提前拉取未被更新的嵌入层向 量。 7.根据权利要求6所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述数据预 取流水线的过程包括： 计算节点内各工作节点 时， 首先读入当前迭代的输入以构造对应的第 二层索引放入可 读缓冲区， 再读入下一迭代的输入以构造索引放入可写缓冲区； 在与服务器节点通信时， 拉取可读缓冲区中所有索引对应的嵌入向量放入可读缓冲区 并开始模型计算； 在模型计算时， 启动通信线程与服务器节点第二次通信， 向服务器节点请求可写缓冲 区中未被访问的索引。权　利　要　求　书 1/2 页 2 CN 114021736 A 28.根据权利要求7所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述服务器节 点对第一次通信计数， 当通信数等于工作 节点数时， 允许处理各工作 节点 的第二次通信； 之后， 所述服务器节 点查看访问位图判断是否在前一迭代中访问， 返回其中 没被访问的嵌入层参数， 并对第二次通信计数， 等于 工作节点数时将位图重 置。 9.根据权利要求1所述的基于双层索引嵌入层的推荐模型分布式训练方法， 其特征在 于： 所述计算节点的通信线程在第二次通信过程中持有锁， 直到下一迭代请求返回未被访 问的嵌入层并拷贝到可写缓冲区中对应位置后才释放， 且下一次迭代的计算需等待锁释放 才可进行。 10.一种GPU， 其特征在于： 所述GPU应用如权利要求1至权利要求10任一权利要求所述 的基于双 层索引嵌入层的推荐模型分布式训练方法。权　利　要　求　书 2/2 页 3 CN 114021736 A 3