(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210807010.0 (22)申请日 2022.07.07 (71)申请人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 赵思杰　宋奕兵　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 贾允 (51)Int.Cl. G06T 3/00(2006.01) G06T 7/00(2017.01) G06V 10/44(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像生成模型的训练方法、 图像生成方法、 装置及设备 (57)摘要 本申请提供一种图像生 成模型的训练方法、 图像生成方法、 装置及设备， 可应用于云技术、 人 工智能、 智慧交通、 辅助 驾驶等各种场景， 方法包 括将样本自然图像输入至第一待训练生成器得 到生成风格化图像， 并将生 成风格化图像输入至 第二待训练生成器得到重建自然图像； 将样本风 格化图像输入至第二待训练生成器得到生成自 然图像， 并将生成自然图像输入至第一待训练生 成器得到重建风格化图像； 根据样本自然图像、 生成风格化图像、 重建自然图像、 样本风格化图 像、 生成自然图像、 重建风格化图像， 构建目标损 失函数对第一待训练生成器和第二待训练生成 器进行训练， 训练结束时的第一待训练生成器作 为图像生 成模型。 本发明可以提高图像生成模型 的鲁棒性。 权利要求书4页 说明书17页 附图6页 CN 115205103 A 2022.10.18 CN 115205103 A 1.一种图像生成模型的训练方法， 其特 征在于， 包括： 获取样本自然图像和样本风格化图像； 将所述样本自然图像输入至第 一待训练生成器进行风格化生成处理， 得到生成风格化 图像， 并将所述生成风格化图像输入至第二待训练生成器进行自然生成处理， 得到重建自 然图像； 将所述样本风格化图像输入至所述第 二待训练生成器进行自然生成处理， 得到生成自 然图像， 并将所述生成自然图像输入至所述第一待训练生成器进行风格化生成处理， 得到 重建风格化图像； 根据所述样本自然图像、 所述生成风格化图像、 所述重建自然图像、 所述样本风格化图 像、 所述生成自然图像、 所述重建风格化图像， 构建目标损失函数； 基于所述目标损失函数对所述第 一待训练生成器和所述第 二待训练生成器进行训练， 直至满足第一预设训练结束条件结束训练； 其中， 训练结束时的第一待训练生成器作为所述图像生成模型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述样本自然图像、 所述生成风 格化图像、 所述重建自然图像、 所述样本风格化图像、 所述生成自然图像、 所述重建风格化 图像， 构建目标损失函数， 包括： 将所述样本自然图像、 所述生成风格化图像和所述重建 自然图像分别 输入至边缘提取 器进行边缘特征提取处理， 得到所述样本自然图像对应的第一边缘特征、 所述生成风格化 图像对应的第二边缘特征、 所述重建自然图像对应的第三边缘特征； 所述边缘提取器的参 数在整个训练过程中保持不变； 根据所述第一 边缘特征、 所述第二 边缘特征和所述第三 边缘特征， 构建第一损失函数； 根据所述样本风格化图像和所述重建风格化图像的差值信息， 构建第二损失函数； 根据所述第一损失函数和所述第二损失函数， 构建所述目标损失函数。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第一边缘特征、 所述第二边 缘特征和所述第三 边缘特征， 构建第一损失函数， 包括： 根据所述第一 边缘特征和所述第二 边缘特征的差值， 确定第一子损失值； 根据所述第一 边缘特征和所述第三 边缘特征的差值， 确定第二子损失值； 根据所述第一子损失值和所述第二子损失值的和值， 确定所述第一损失函数。 4.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一损失函数和所述第 二损 失函数， 构建所述目标损失函数， 包括： 将所述生成风格化图像和所述样本风格化图像输入至第 一鉴别器， 得到所述生成风格 化图像对应的第一 鉴别值和所述样本风格化图像对应的第二 鉴别值； 根据所述生成风格化图像对应的第一标注值和所述第一鉴别值的差值以及所述样本 风格化图像对应的第二标注值和所述第二 鉴别值的差值的和值， 确定第三损失函数； 将所述生成自然图像和所述样本自然图像输入至第 二鉴别器， 得到所述生成自然图像 对应的第三 鉴别值和所述样本自然图像对应的第四鉴别值； 根据所述生成自然图像对应的所述第一标注值和所述第三鉴别值的差值以及所述样 本自然图像对应的所述第二标注值和所述第四鉴别值的差值的和值， 确定第四损失函数； 根据所述第一损失函数、 所述第 二损失函数、 所述第 三损失函数和所述第四损失函数，权　利　要　求　书 1/4 页 2 CN 115205103 A 2构建所述目标损失函数。 5.根据权利要求4所述的方法， 其特征在于， 还包括： 训练所述第一鉴别器和所述第二 鉴别器； 所述训练所述第一 鉴别器包括： 将所述生成风格化图像和所述样本风格化图像输入至第 一待训练鉴别器， 得到所述生 成风格化图像对应的第一 候选鉴别值和所述样本风格化图像对应的第二 候选鉴别值； 根据所述生成风格化图像对应的所述第二标注值和第一候选鉴别值的差值以及所述 样本风格化图像对应的所述第一标注值和 第二候选鉴别值的差值的和值， 确定第五损失函 数； 基于所述第五损失函数调 整所述第 一待训练鉴别器的模型参数， 直至满足第 二预设训 练结束条件结束训练， 得到所述第一 鉴别器； 所述训练所述第二 鉴别器包括： 将所述生成自然图像和所述样本自然图像输入至第 二待训练鉴别器， 得到所述生成自 然图像对应的第三 候选鉴别值和所述样本自然图像对应的第四候选鉴别值； 根据所述生成自然图像对应的所述第二标注值和所述第三候选鉴别值的差值以及所 述样本自然图像对应的所述第一标注值和所述第四候选鉴别值的差值的和值， 确定第六损 失函数； 基于所述第六损失函数调 整所述第 二待训练鉴别器的模型参数， 直至满足第 三预设训 练结束条件结束训练， 得到所述第二 鉴别器。 6.根据权利要求4所述的方法， 其特征在于， 所述第 一待训练生成器包括多个待训练子 级生成器； 所述将所述样本自然图像、 所述生成风格化图像和所述重建自然图像分别输入至边缘 提取器进行边缘特征提取处理， 得到所述样本自然图像对应的第一边缘特征、 所述生成风 格化图像对应的第二 边缘特征、 所述重建自然图像对应的第三 边缘特征， 包括： 获取所述样本自然图像对应的第一多尺度图像和所述第一多尺度图像对应的多尺度 子生成风格化图像； 所述第一多尺度图像的尺度与所述待训练子级生成器的级数相等； 将所述第一多尺度图像、 所述多尺度子生成风格化图像和所述重建自然图像分别输入 至所述边缘提取器进 行边缘特征提取 处理， 得到所述第一多尺度图像对应的第一多尺度边 缘特征、 所述多尺度子生成风格化图像对应的第二多尺度边缘特征、 所述重建自然图像对 应的第三 边缘特征； 所述根据所述第一边缘特征、 所述第二边缘特征和所述第三边缘特征， 构建第一损 失 函数， 包括： 根据所述第一多尺度边缘特征、 所述第二多尺度边缘特征和所述第三边缘特征， 构建 所述第一损失函数。 7.根据权利要求6所述的方法， 其特征在于， 所述将所述生成风格化图像和所述样本风 格化图像输入至第一鉴别器， 得到所述生成风格化图像对应的第一鉴别值和所述样本风格 化图像对应的第二 鉴别值， 包括： 获取所述样本自然图像对应的第 二多尺度图像； 所述第 二多尺度图像是对所述样本自 然图像进行 下采样处 理得到的图像；权　利　要　求　书 2/4 页 3 CN 115205103 A 3