(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210242831.4 (22)申请日 2022.03.11 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 王嘉凯　尹子鑫　胡鹏飞　刘艾杉　 刘祥龙　 (74)专利代理 机构 北京汲智翼成知识产权代理 事务所(普通 合伙) 11381 专利代理师 陈曦　贾兴昌 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) (54)发明名称 一种面向真实世界应用的鲁棒视觉增强方 法与装置 (57)摘要 本发明公开了一种面向真实世界应用的鲁 棒视觉增强方法与装置。 该方法包括如下步骤： 将初始补丁进行局部特征提取优化和全局感知 相关性优化后， 生成防御补丁； 将添加了防御补 丁的图像输入神经网络进行推理。 本发明将添加 了防御补丁的图像输入神经网络进行推理， 可以 提高深度神经网络的鲁棒性。 并且， 利用本发明 无需修改模型端的框架， 可以减少再训练的成 本。 权利要求书2页 说明书12页 附图4页 CN 115330991 A 2022.11.11 CN 115330991 A 1.一种面向真实世界应用的鲁棒视 觉增强方法， 其特 征在于包括如下步骤： 将初始补丁进行局部特 征提取优化和全局感知相关性优化后， 生成防御补丁； 将添加了防御补丁的图像输入神经网络进行推理。 2.如权利要求1所述的鲁棒视觉增强方法， 其特征在于， 所述将初始补丁进行局部特征 提取优化， 具体包括如下子步骤： 利用形状掩码对初始补丁进行初始化； 通过特征损失函数优化初始补丁， 生成补丁先验。 3.如权利要求2所述的鲁棒视觉增强方法， 其特征在于， 所述将初始补丁进行全局感知 相关性优化， 具体包括如下子步骤： 通过优化损失函数优化补丁先验， 生成中间补丁； 通过感知相关性损失函数优化中间补丁和先验补丁， 得到防御补丁。 4.如权利要求2所述的鲁棒视觉增强方法， 其特征在于， 所述通过特征损失函数优化初 始补丁， 具体包括如下子步骤： 使用特征提取模型， 最小化训练特 征损失函数， 从而优化各类初始补丁。 5.如权利要求3所述的鲁棒视觉增强方法， 其特征在于， 所述通过优化损失函数优化补 丁先验， 具体包括如下子步骤： 针对补丁先验进行训练， 使优化损失函数最大化。 6.如权利要求3所述的鲁棒视觉增强方法， 其特征在于， 所述通过感知相关性损失函数 优化中间补丁和先验补丁， 具体包括如下子步骤： 引入Gram矩阵， 基于各中间补丁的组合优化中间补丁， 使感知相关性损失函数最小化。 7.如权利要求 4所述的鲁棒视 觉增强方法， 其特 征在于， 所述特 征损失函数表达式为： 上式中， 是类别索引为 k的 的预测值， 为先验补丁。 8.如权利要求5所述的鲁棒视 觉增强方法， 其特 征在于， 所述优化损失函数表达式为： 上式中， yk表示x的真实标签， 表示输入 时 的预测值， 为分类器， 为 中间补丁。 9.如权利要求6所述的鲁棒视觉增强方法， 其特征在于， 所述感知相关性损失函数表达 式为： 上式中， Gp,q(I)表示输入 I在位置(p,q)的Gram矩阵值， I·C表示输入 I在通道c的像素值， N表示分类 器中的类别总数。 10.一种面向真实世界应用的鲁棒视觉增强装置， 其特征在于包括处理器和存储器， 所 述处理器读取 所述存储器中的计算机程序， 用于执 行以下操作： 将初始补丁进行局部特 征提取优化和全局感知相关性优化后， 生成防御补丁；权　利　要　求　书 1/2 页 2 CN 115330991 A 2将添加了防御补丁的图像输入神经网络进行推理。权　利　要　求　书 2/2 页 3 CN 115330991 A 3