(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210910622.2 (22)申请日 2022.07.29 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 于志刚　 (74)专利代理 机构 北京律智知识产权代理有限 公司 11438 专利代理师 孙宝海 (51)Int.Cl. G06T 11/60(2006.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸图像保护方法、 保护装置、 电子设备和 可读存储介质 (57)摘要 本公开提供了一种人脸图像保护方法、 保护 装置、 电子设备和可读存储介质， 涉及网络安全 技术领域。 其中， 人脸图像 保护方法包括： 获取实 时视频帧； 检测所述实时视频帧中的人脸图像， 并提取所述人脸图像中的人脸关键点； 基于所述 人脸关键点的特征生成适配的保护图案； 将所述 保护图案覆盖在所述人脸关键点所处的区域， 得 到隐私保护图像。 通过本公开的技术方案， 在保 证对人脸图像 保护的安全性、 更难逆向破解的同 时， 使保护图案起到对人脸图像的装饰作用， 以 使得到的隐私保护图像具有一定的美观度而更 容易被用户接受。 权利要求书3页 说明书14页 附图9页 CN 115272534 A 2022.11.01 CN 115272534 A 1.一种人脸图像保护方法， 其特 征在于， 包括： 获取实时视频帧； 检测所述实时视频帧中的人脸图像， 并提取 所述人脸图像中的人脸关键点； 基于所述人脸关键点的特 征生成适配的保护图案； 将所述保护图案覆盖在所述人脸关键点所处的区域， 得到隐私保护图像。 2.根据权利要求1所述的人脸图像保护方法， 其特征在于， 所述基于所述人脸关键点的 特征生成适配的保护图案包括： 基于图案生成模型生成与所述人脸关键点的特 征适配的所述保护图案 。 3.根据权利要求2所述的人脸图像保护方法， 其特征在于， 所述基于图案生成模型生成 与所述人脸关键点的特 征适配的所述保护图案包括： 从初始图集中随机 选择至少一张原 始图片； 将所述原 始图片和对应的标签输入所述图案生成模型， 以输出 所述保护图案， 其中， 所述标签和所述人脸关键点的特 征对应。 4.根据权利要求3所述的人脸图像保护方法， 其特征在于， 所述图案生成模型包括至少 一个生成式对抗网络， 所述生成式对抗网络包括生成器和判别器， 所述将所述原始图片和 对应的标签输入所述图案生成模型， 以输出 所述保护图案包括： 基于所述标签和所述 生成器生成初始图案； 将所述初始图案和所述原始图片输入所述判别器， 以由所述判别器基于所述原始图片 对所述初始图案进行真实性验证， 将验证通过的所述初始图案确定为所述保护图案 。 5.根据权利要求4所述的人脸图像保护方法， 其特征在于， 所述基于所述标签和所述生 成器生成初始图案包括： 将高斯白噪声序列和所述标签输入所述生成器， 并依次经过全连接层和BN层得到对应 的多维特 征； 将所述多维特 征转换为具有指定分辨 率和通道数的特 征图； 对所述特 征图进行多重反卷积处 理， 得到所述初始图案 。 6.根据权利要求4所述的人脸图像保护方法， 其特征在于， 所述将所述初始图案和所述 原始图片 输入所述判别器， 以由所述判别器基于所述原始图片对所述初始图案进 行真实性 验证包括： 将所述初始图案和所述原始图片输入所述判别器， 基于多层级处理结构对所述初始图 案和所述原 始图片进行处 理， 得到判别向量； 基于sigmo id激活函数对所述判别向量进行激活输出， 得到真实性 概率； 若所述真实性 概率大于概 率阈值， 则将所述初始图案确定为所述保护图案 。 7.根据权利要求6所述的人脸图像保护方法， 其特征在于， 所述将所述初始图案和所述 原始图片 输入所述判别器， 以由所述判别器基于所述原始图片对所述初始图案进 行真实性 验证， 还包括： 若所述真实性概率小于或等于所述概率阈值， 基于所述真实性概率优化所述图案生成 模型。 8.根据权利要求4所述的人脸图像保护方法， 其特征在于， 在将所述原始图片和对应的 标签输入所述图案生成模型， 以输出 所述保护图案之前， 还 包括：权　利　要　求　书 1/3 页 2 CN 115272534 A 2对所述图案生成模型进行模型训练。 9.根据权利要求8所述的人脸图像保护方法， 其特征在于， 所述对所述图案生成模型进 行模型训练包括： 对生成器训练模型和判别器训练模型 执行模型初始化操作； 冻结生成器训练模型， 并获取指定数量的原 始图片样本； 基于冻结的所述 生成器训练模型获取保护图案样本； 将所述原始图片样本和所述保护图案样本输入所述判别器训练模型执行二分类预测 模型训练， 并判别器损失模型 的最大化更新所述判别器训练模型 的参数， 以生成所述判别 器； 冻结生成的所述判别器， 并解冻所述 生成器训练模型； 基于解冻的所述 生成器训练模型获取 所述保护图案样本； 将所述原始图片样本和所述保护图案样本输入生成的所述判别器， 基于生成器损失模 型的最小化执 行模型训练， 以生成所述 生成器。 10.根据权利要求2所述的人脸图像保护方法， 其特 征在于， 还 包括： 基于多个识别模型识别得到的所述隐私保护图像， 得到对应的多个识别结果； 确定所述识别结果中识别错 误的数量占比， 并检测所述数量占比是否大于比例阈值； 若所述数量占比大于所述比例阈值， 则显示所述隐私保护图像； 若所述数量占比小于或等于所述比例阈值， 则生成调整信息， 以基于所述调整信息调 整所述图案生成模型。 11.根据权利要求10所述的人脸图像保护方法， 其特征在于， 所述基于所述调整信 息调 整所述图案生成模型包括： 基于所述调整信息获取 所述识别模型的决策 热力图区域和识别置信度； 基于所述数量占比、 所述决策热力图区域和所述识别置信度确定所述人脸图像中待改 善的区域特 征和区域数量； 基于所述区域特 征和区域数量进行误差计算， 得到误差损失； 基于反向传播 算法和所述 误差损失优化所述图案生成模型图案生成模型； 基于优化后的所述图案生成模型 更新所述保护图案 。 12.根据权利要求1所述的人脸图像保护方法， 其特征在于， 所述提取所述人脸图像中 的人脸关键点包括： 基于人脸器官 特征确定所述人脸关键点； 确定所述人脸关键点的位置坐标； 基于所述 位置坐标划分所述人脸关键点所处的区域， 所述人脸器官特征包括眼睛、 鼻子、 嘴巴、 眉毛、 脸部轮廓和脸内部件轮廓中的至少一 种。 13.根据权利要求12所述的人脸图像保护方法， 其特征在于， 所述基于所述人脸关键点 的特征生成适配的保护图案， 还 包括： 确定所述人脸关键点所处区域的区域尺寸； 基于所述 区域尺寸对所述保护图案的尺寸进行调整， 以与所述人脸关键点所处 的区域 适配。权　利　要　求　书 2/3 页 3 CN 115272534 A 3