(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210689514.7 (22)申请日 2022.06.16 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 朱翔昱　雷震　费鸿炎　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 人脸伪造检测模 型构建方法、 人脸伪造检测 方法和装置 (57)摘要 本发明提供一种人脸伪造检测模型构建方 法、 人脸伪造检测方法和装置， 其中， 人脸伪造检 测模型构建方法包括： 确定第一伪造检测模型， 第一伪造检测模型用于提取第一样本人脸图像 的多种候选特征， 并基于多种候选特征及其权 重， 对第一样本人脸图像进行伪造检测； 基于多 种候选特征的权重， 从多种候选特征中确定目标 特征； 构建基于目标特征进行伪造检测的第二伪 造检测模型； 基于第二样本人脸图像及其真伪标 签， 对第二伪造检测模型进行训练， 得到人脸伪 造检测模型， 不仅保证了模型的优良性能， 还缩 减了模型规格， 克服了传统方案中判别伪造信息 耗时费力， 且 无法获知不同候选特征协同分析的 作用的缺陷， 精进了后续基于人脸伪造检测模型 的人脸伪造 检测过程。 权利要求书3页 说明书16页 附图3页 CN 115240243 A 2022.10.25 CN 115240243 A 1.一种人脸伪造检测模型构建方法， 其特 征在于， 包括： 确定第一伪造检测模型， 所述第 一伪造检测模型用于提取第 一样本人脸图像的多种候 选特征， 并基于所述多种候选特 征及其权 重， 对所述第一样本人脸图像进行伪造检测； 基于所述多种候选特 征的权重， 从所述多种候选特 征中确定目标 特征； 构建基于所述目标 特征进行伪造检测的第二伪造检测模型； 基于第二样本人脸图像及其真伪标签， 对所述第二伪造检测模型进行训练， 得到人脸 伪造检测模型。 2.根据权利要求1所述的人脸伪 造检测模型构建方法， 其特征在于， 所述多种候选特征 基于如下步骤确定： 基于所述第一伪造检测模型中的特征提取层， 对所述第一样本人脸图像进行特征提 取， 得到所述第一样本人脸图像的多种候选特 征； 基于所述第一伪造检测模型中的编码层， 对候选特征进行编码， 得到所述第一样本人 脸图像的候选特 征图； 基于所述第一伪造检测模型中的解码层， 对所述候选特征图进行解码， 得到所述第一 样本人脸图像的候选特征向量， 所述候选特征、 所述候选特征图以及所述候选特征向量为 不同特征级别的特 征； 基于所述第一伪造检测模型中的融合层， 以及各特征级别的特征所包含的候选要素， 对同一特 征级别的特 征进行融合， 得到候选伪造检测特 征。 3.根据权利要求2所述的人脸伪 造检测模型构建方法， 其特征在于， 所述基于所述第 一 伪造检测模型中的融合层， 以及各特征级别的特征所包含的候选要素， 对同一特征级别的 特征进行融合， 得到候选伪造检测特 征， 包括： 基于所述第一伪造检测模型中的融合层， 以及各特征级别的特征所包含的候选要素， 对同一特征级别的特征进行融合， 得到不同特征级别的第一融合特征， 所述第一融合特征 包括第一 候选融合特 征、 第一候选融合特 征图以及第一 候选融合特 征向量； 基于所述第 一伪造检测模型中的融合层， 各特征级别的第 一融合特征所包含的候选要 素， 以及所述各特征级别的第一融合特征对应的权重， 对同一特征级别的第一融合特征进 行融合， 得到不同特征级别的第二融合特征， 所述第二融合特征包括第二候选融合特征图 以及第二 候选融合特 征向量； 基于所述第一伪造检测模型中的融合层， 以及所述第二候选融合特征向量对应的权 重， 对所述第二 候选融合特 征向量进行融合， 得到候选伪造检测特 征。 4.根据权利要求3所述的人脸伪 造检测模型构建方法， 其特征在于， 所述基于所述第 一 伪造检测模型中的融合层， 以及各特征级别的特征所包含的候选要素， 对同一特征级别的 特征进行融合， 得到不同特 征级别的第一融合特 征， 包括： 若任一特征级别的多个特征所包含的候选要素不同， 则基于所述第 一伪造检测模型中 的融合层， 对所述任一特征级别的多个特征进行融合， 得到所述任一特征级别的第一融合 特征。 5.根据权利要求3所述的人脸伪 造检测模型构建方法， 其特征在于， 所述基于所述第 一 伪造检测模型中的融合层， 各特征级别的第一融合特征所包含的候选要素， 以及所述各特 征级别的第一融合特征对应的权重， 对同一特征级别的第一融合特征进行融合， 得到不同权　利　要　求　书 1/3 页 2 CN 115240243 A 2特征级别的第二融合特 征， 包括： 若任一特征级别的多个第 一融合特征所包含的候选要素相同， 则基于所述第 一伪造检 测模型中的融合层， 以及所述任一特征级别的多个第一融合特征分别对应的权重， 对所述 任一特征级别的多个第一融合特 征进行融合， 得到所述任一特 征级别的第二融合特 征。 6.根据权利要求2至5中任一项所述的人脸伪造检测模型构建方法， 其特征在于， 所述 基于所述第一伪造检测模型中的特征提取层， 对所述第一样本人脸图像进行特征提取， 得 到所述第一样本人脸图像的多种候选特 征， 包括： 基于所述第一伪造检测模型中的特征提取层， 对所述第一样本人脸图像进行特征提 取， 得到所述第一样本人脸图像的初始候选特 征； 基于所述第 一伪造检测模型中的特征提取层， 对存在空间对应关系的初始候选特征进 行融合， 得到初始候选融合特 征； 基于所述初始候选融合特征， 以及所述第一样本人脸图像的初始候选特征， 确定所述 第一样本人脸图像的多种候选特 征。 7.一种人脸伪造检测方法， 其特 征在于， 包括： 确定待检测的人脸图像； 将所述人脸图像输入至人脸伪 造检测模型， 得到所述人脸伪 造检测模型输出的伪 造检 测结果； 所述人脸伪造检测模型基于如权利要求1至6中任一项所述的人脸伪造检测模型构建 方法确定 。 8.一种人脸伪造检测模型构建装置， 其特 征在于， 包括： 第一伪造检测模型确定单元， 用于确定第一伪造检测模型， 所述第一伪造检测模型用 于提取第一样本人脸图像的多种候选特征， 并基于所述多种候选特征及其权重， 对所述第 一样本人脸图像进行伪造检测； 目标特征确定单元， 用于基于所述多种候选特征的权重， 从所述多种候选特征中确定 目标特征； 第二伪造检测模型构建单元， 用于构建基于所述目标特征进行伪 造检测的第 二伪造检 测模型； 人脸伪造检测模型确定单元， 用于基于第二样本人脸图像及其真伪标签， 对所述第二 伪造检测模型进行训练， 得到人脸伪造检测模型。 9.一种人脸伪造检测装置， 其特 征在于， 包括： 人脸图像确定单 元， 用于确定待检测的人脸图像； 人脸伪造检测单元， 用于将所述人脸图像输入至人脸伪造检测模型， 得到所述人脸伪 造检测模 型输出的伪造检测结果； 所述人脸伪造检测模型基于如权利要求 1至6中任一项 所 述的人脸伪造检测模型构建方法确定 。 10.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述的人脸伪造检测模型构建方法或如权利要求7 所述的人脸伪造检测方法。 11.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至6任一项所述的人脸伪造检测模型构建方法或权　利　要　求　书 2/3 页 3 CN 115240243 A 3