(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742775.0 (22)申请日 2022.06.28 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 王迪　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 罗岚 (51)Int.Cl. G06T 3/00(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 40/16(2022.01) (54)发明名称 个性化人脸风格图的生 成方法、 装置和电子 设备 (57)摘要 本公开提供了一种个性化人脸风格图的生 成方法、 装置和电子设备， 涉及计算机视觉、 深度 学习、 增强/虚拟现实等人工智能技术领域， 可应 用于虚拟数字人、 元宇宙等场景。 其中， 方案为： 获取待处理的目标人脸图像及参考风格图像； 基 于第一向量提取模型， 将目标人脸图像进行预处 理， 以获取第一隐向量； 基于第二向量提取模型， 将参考风格图像进行预处理， 以获取第二隐向 量； 将第一隐向量与第二隐向量进行融合， 以生 成目标人脸图像对应的目标风格图。 由此， 在生 成目标风格图的过程中， 充分考虑到了表征人脸 信息的第一隐向量， 及表征风格信息的第二隐向 量， 从而在实现风格化处理的基础上， 保留不同 的人脸信息和风格信息， 提高了目标风格图的个 性化程度。 权利要求书3页 说明书13页 附图3页 CN 114972017 A 2022.08.30 CN 114972017 A 1.一种个性 化人脸风格图的生成方法， 其中， 包括： 获取待处 理的目标 人脸图像及参 考风格图像； 基于第一向量 提取模型， 将所述目标 人脸图像进行 预处理， 以获取第一隐向量； 基于第二向量提取模型， 将所述参考风格 图像进行预处理， 以获取第二隐向量， 其中， 所述第一向量 提取模型与所述第二向量 提取模型不同； 将所述第一隐向量与 所述第二隐向量进行融合， 以生成所述目标人脸图像对应的所述 目标风格图。 2.如权利要求1所述的方法， 其中， 所述将所述第一隐向量与所述第二隐向量进行融 合， 以生成所述目标 人脸图像对应的所述目标风格图， 包括： 基于所述参考风格图像的类型， 确定所述第 一隐向量的第 一权重及所述第 二隐向量的 第二权重； 基于所述第一权重及第二权重， 将所述第一 隐向量与所述第二 隐向量进行卷积处理， 以生成所述目标 人脸图像对应的所述目标风格图。 3.如权利要求1所述的方法， 其中， 所述将所述第一隐向量与所述第二隐向量进行融 合， 以生成所述目标 人脸图像对应的所述目标风格图， 包括： 基于所述参考风格图像的类型， 获取第一权重序列及第 二权重序列， 其中， 所述第一权 重序列中包含所述第一隐向量中每个维度第一子向量分别对应的权重， 所述第二权重序列 中包含所述第二隐向量中每 个维度第二子向量分别对应的权 重； 基于所述第一权重序列、 所述第二权重序列及各个维度子向量的类型， 将所述每个维 度第一子向量与第二子向量进 行逐层卷积处理， 以生成所述目标人脸图像对应的所述目标 风格图。 4.如权利要求1所述的方法， 其中， 在所述基于第一向量提取模型， 将所述目标人脸图 像进行预处理， 以获取第一隐向量之前， 还 包括： 获取第一样本集及第二样本集， 其中， 所述第 一样本集中包含多张人脸样本图像， 所述 第二样本集中包 含多张风格样本图像； 将所述人脸样本图像输入至第 一初始模型中， 以获取所述第 一初始模型输出的第 三隐 向量； 将所述风格样本图像输入至第 二初始模型中， 以获取所述第 二初始模型输出的第四隐 向量； 将所述第三隐向量与 所述第四 隐向量进行融合， 以生成所述人脸样本图像对应的风格 图； 基于所述人脸样本图像与对应的风格图间的第一差异， 对所述第一初始模型进行修 正， 以生成所述第一向量 提取模型； 基于所述风格样本图像与 所述人脸样本图像对应的风格图间的第 二差异， 对所述第 二 初始模型进行修 正， 以生成所述第二向量 提取模型。 5.如权利要求4所述的方法， 其中， 所述基于所述人脸样本图像与对应的风格图间的第 一差异， 对所述第一初始模型进行修 正， 以生成所述第一向量 提取模型， 包括： 获取所述人脸样本图像对应的第一特 征向量， 及对应的风格图的第二特 征向量； 基于所述第一特 征向量与所述第二特 征向量间的第一差异， 确定对应的第一损失值；权　利　要　求　书 1/3 页 2 CN 114972017 A 2基于所述第一损失值对所述第一初始模型进行修 正， 以生成所述第一向量 提取模型。 6.如权利要求4所述的方法， 其中， 所述基于所述风格样本图像与所述人脸样本图像对 应的风格图间的第二差异， 对所述第二初始模型进 行修正， 以生成所述第二向量提取模型， 包括： 获取所述人脸样本 图像对应的N个维度的第三特征向量， 及所述人脸样本 图像的风格 图对应的所述 N个维度的第四特 征向量， 其中， N 为大于1的正整数； 基于每个所述维度对应的第 三特征向量及第四特征向量间的第 二差异， 确定每个所述 维度对应的第二损失值； 将多个所述第二损失值进行融合， 以得到第三损失值； 基于所述第三损失值， 对所述第二初始模型进行修 正， 以生成所述第二向量 提取模型。 7.一种个性 化人脸风格图的生成装置， 其中， 所述装置包括： 获取模块， 用于获取待处 理的目标 人脸图像及参 考风格图像； 第一处理模块， 用于基于第 一向量提取模型， 将所述目标人脸图像进行预处理， 以获取 第一隐向量； 第二处理模块， 用于基于第 二向量提取模型， 将所述参考风格图像进行预处理， 以获取 第二隐向量， 其中， 所述第一向量 提取模型与所述第二向量 提取模型不同； 生成模块， 用于将所述第一 隐向量与所述第二 隐向量进行融合， 以生成所述目标人脸 图像对应的所述目标风格图。 8.如权利要求7 所述的装置， 其中， 所述 生成模块， 具体用于： 基于所述参考风格图像的类型， 确定所述第 一隐向量的第 一权重及所述第 二隐向量的 第二权重； 基于所述第一权重及第二权重， 将所述第一 隐向量与所述第二 隐向量进行卷积处理， 以生成所述目标 人脸图像对应的所述目标风格图。 9.如权利要求7 所述的装置， 其中， 所述 生成模块， 具体用于： 基于所述参考风格图像的类型， 获取第一权重序列及第 二权重序列， 其中， 所述第一权 重序列中包含所述第一隐向量中每个维度第一子向量分别对应的权重， 所述第二权重序列 中包含所述第二隐向量中每 个维度第二子向量分别对应的权 重； 基于所述第一权重序列、 所述第二权重序列及各个维度子向量的类型， 将所述每个维 度第一子向量与第二子向量进 行逐层卷积处理， 以生成所述目标人脸图像对应的所述目标 风格图。 10.如权利要求7 所述的装置， 其中， 所述 生成模块， 包括： 第一获取单元， 用于获取第 一样本集及第二样本集， 其中， 所述第一样本集中包含多张 人脸样本图像， 所述第二样本集中包 含多张风格样本图像； 第二获取单元， 用于将所述人脸样本 图像输入至第一初始模型中， 以获取所述第一初 始模型输出的第三隐向量； 第三获取单元， 用于将所述风格样本 图像输入至第二初始模型中， 以获取所述第二初 始模型输出的第四隐向量； 第一生成单元， 用于将所述第三 隐向量与所述第 四隐向量进行融合， 以生成所述人脸 样本图像对应的风格图；权　利　要　求　书 2/3 页 3 CN 114972017 A 3