(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111681069.1 (22)申请日 2021.12.31 (65)同一申请的已公布的文献号 申请公布号 CN 114419704 A (43)申请公布日 2022.04.29 (73)专利权人 北京瑞莱智慧科技有限公司 地址 100084 北京市海淀区清华科技园科 技大厦A座19层 (72)发明人 不公告发明人 　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 王艳斌 (51)Int.Cl. G06V 40/16(2022.01) G06N 20/00(2019.01)审查员 徐海青 (54)发明名称 对抗样本动态生成方法、 装置、 电子设备及 存储介质 (57)摘要 本申请涉及一种对抗样 本动态生成方法、 装 置、 电子设备及存储介质， 所述方法包括： 实时获 取第一用户的第一人脸图像； 对 所述第一人脸图 像进行目标检测及跟踪， 生 成用于标注所述第一 人脸图像中人脸的候选框； 基于所述候选框对投 影到全息膜上的目标对抗图案进行调整， 生成目 标扰动图像； 获取目标对抗样本， 所述目标对抗 样本包含所述第一人脸图像和所述目标扰动图 像。 本申请可以实现通过全息成像的方式将电子 设备中显示的数字世界的对抗扰动图像转换至 真实的物理世界中， 无需将对抗扰动图像打印出 来， 有利于提高物理世界对抗样本的攻击成功 率， 并能够实现对抗图案随人脸的调整进行对应 调整， 提高获取的目标对抗样 本中对抗图案与人 脸之间的匹配度。 权利要求书4页 说明书18页 附图8页 CN 114419704 B 2022.08.02 CN 114419704 B 1.一种对抗样本动态生成方法， 其特 征在于， 应用于电子设备， 所述方法包括： 实时获取第一用户的第一人脸图像； 对所述第一人脸图像进行目标检测及跟踪， 生成用于标注所述第 一人脸图像中人脸的 候选框； 基于所述 候选框对投影到全息膜上的目标对抗图案进行调整， 生成目标扰动图像； 获取目标对抗样本， 所述目标对抗样本包 含所述第一人脸图像和所述目标扰动图像； 其中， 所述方法还 包括： 获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度； 根据所述攻击距离、 所述移动速度以及预设的执行单次攻击所需时长， 确定允许更换 对抗图案的最大次数； 接收所述第 一用户针对不同的时间窗口输入的第 一攻击命令， 所述第 一攻击命令包括 在对应的时间窗口显示的对抗图案， 所述时间窗口 的个数根据所述 最大次数确定； 将所述目标对抗图案投影显示在所述全息膜上， 包括： 响应于所述第 一攻击命令， 根据第 一映射关系确定与 所述目标时间窗口对应的目标第 一预设对抗图案， 所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之 间的映 射关系； 将所述目标第一预设对抗图案投影显示在所述全息膜上。 2.根据权利要求1所述的对抗样本动态生成方法， 其特征在于， 在所述基于所述候选框 的属性信息， 对投影到全息膜上的目标对抗图案进行调整之前， 所述方法还 包括： 在监测到物理攻击开始后开始计时， 在目标时间窗口内， 获取与所述目标时间窗口对应的目标对抗图案； 将所述目标对抗图案投影显示在所述全息膜上。 3.根据权利要求2所述的对抗样本动态生成方法， 其特征在于， 在监测物理攻击之前， 所述方法还 包括： 获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用户的移动速度； 根据所述攻击距离、 所述移动速度以及预设的执行单次攻击所需时长， 确定最迟攻击 时刻； 接收所述第 一用户基于第 一提示信 息输入的第 二攻击命令， 所述第 二攻击命令包括攻 击生效时刻与在所述攻击生效时刻显示的第二预设对抗图案， 所述第一提示信息用于提示 所述第一用户输入的所述 攻击生效时刻不大于所述 最迟攻击时刻； 所述将所述目标对抗图案投影显示在所述全息膜上， 包括： 响应于所述第 二攻击命令， 根据第 二映射关系确定与 所述目标时间窗口对应的目标第 二预设对抗图案， 所述第二映射关系包括根据所述攻击生效时刻确定的时间窗口与所述第 二预设对抗图案之间的映射关系； 将所述目标第二预设对抗图案投影显示在所述全息膜上。 4.根据权利要求1所述的对抗样本动态生成方法， 其特征在于， 在所述基于所述候选框 的属性信息， 对投影到全息膜上的目标对抗图案进行调整之前， 所述方法还 包括： 接收所述第 一用户基于第 二提示信 息输入的第四攻击命令， 所述第 二提示信 息为实时 更新的热度数据；权　利　要　求　书 1/4 页 2 CN 114419704 B 2响应于所述第四攻击命令， 获取与所述热度数据匹配的热度图像； 将所述热度图像投影显示在所述全息膜上。 5.根据权利要求1所述的对抗样本动态生成方法， 其特征在于， 在所述基于所述候选框 的属性信息， 对投影到全息膜上的目标对抗图案进行调整之前， 所述方法还 包括： 接收所述第 一用户的查询指令， 所述查询 指令用于请求获取第 一目标对象的第 一目标 图像； 根据所述 查询指令获取与所述第一目标对象匹配的第一目标图像； 接收所述第一用户基于第三 提示信息输入的第三 攻击命令； 响应于所述第三 攻击命令， 将所述第一目标图像投影显示在所述全息膜上。 6.根据权利要求1或3所述的对抗样本动态生成方法， 其特征在于， 所述攻击命令还包 括第二目标对象， 所述获取目标对抗样本， 包括： 获取多个候选对抗样本； 分别获取 各所述候选对抗样本与所述第二目标对象的第二人脸图像的相似度； 确定所述目标对抗样本， 所述目标对抗样本为相似度高于预设阈值的候选对抗样本中 的任意候选对抗样本 。 7.根据权利要求1 ‑5任一项所述的对抗样本动态生成方法， 其特征在于， 所述基于所述 候选框对投影到全息膜上的目标对抗图案进行调整， 包括以下 方式之一： 根据所述 候选框的大小， 对投影到全息膜上的目标对抗图案进行缩放； 根据所述 候选框的位置， 对所述投影到全息膜上的目标对抗图案进行移动； 或者， 在所述候选框中的第一人脸图像非正脸图像时， 对所述投影到全息膜上的目标 对抗图案进行 更换。 8.一种对抗样本动态生成装置， 其特 征在于， 应用于电子设备， 所述装置包括： 收发模块， 用于实时获取第一用户的第一人脸图像； 处理模块， 用于对所述第一人脸图像进行目标检测及跟踪， 生成用于标注所述第一人 脸图像中人脸的候选框； 以及， 基于所述候选框对投影到全息膜上 的目标对抗图案进行调 整， 生成目标扰动图像； 所述收发模块， 还用于获取目标对抗样本， 所述目标对抗样本包含所述第一人脸图像 和所述目标扰动图像； 其中， 所述装置还 包括： 显示模块； 所述处理模块还用于： 通过所述收发模块获取所述第一用户与所述全息膜之间的攻击距离以及所述第一用 户的移动速度； 根据所述攻击距离、 所述移动速度以及预设的执行单次攻击所需时长， 确定允许更换 对抗图案的最大次数； 通过所述收发模块接收所述第 一用户针对不同的时间窗口输入的第 一攻击命令， 所述 第一攻击命令包括在对应的时间窗口显示的对抗图案， 所述时间窗口的个数根据所述最大 次数确定； 响应于所述第 一攻击命令， 根据第 一映射关系确定与 所述目标时间窗口对应的目标第 一预设对抗图案， 所述第一映射关系包括多个时间窗口与多个第一预设对抗图案之 间的映权　利　要　求　书 2/4 页 3 CN 114419704 B 3