(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210254318.7 (22)申请日 2022.03.15 (71)申请人 湖南师范大学 地址 410081 湖南省长 沙市麓山路3 6号 (72)发明人 张连明　谢小卫　肖凯　柏文姬　 刘魁　董苹苹　 (51)Int.Cl. G06V 10/44(2022.01) G06V 20/13(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 一种基于互对抗训练的异常图像检测方法、 装置及介质 (57)摘要 本发明公开一种基于互对抗训练的异常图 像检测方法、 装置及介质， 应用于深度学习领域 的异常图像检测， 包括： 获取并调整检测图像； 将 检测图像输入到双子网络的重构网络中， 然后分 别输出重构图像， 取其权重之和作为最终的输 出； 使用损失函数计算检测图像与重构图像的损 失作为异常分数； 根据异常分数， 采用异常判定 方法判别当前图像是否为异常； 最后根据正常图 像的分布对异常图像上的异常区域进行定位， 并 警报。 本发 明提供的异常图像检测方法仅需要少 量的正常数据进行训练， 并且可以识别模型未曾 学习过的异常。 此外， 本发明提供的互对抗网络 相比其它模型， 训练时间更短、 重构能力更好， 因 而本发明方法相比于其它检测方法效率更高。 权利要求书1页 说明书7页 附图4页 CN 114581679 A 2022.06.03 CN 114581679 A 1.一种基于互对抗训练的异常图像 检测方法， 其特 征在于， 包括以下步骤： S1.获取图像， 然后调整图像的分辨率和朝向， 若该图像是用于训练， 则由人工对采集 到的图像进行 标记并分类， 最后输出正常类别图像以备训练； S2.将获取的检测图像输入到重构网络中， 利用重构网络学习正常图像的数据空间， 然 后输出与输入图像相当的重构图像； S3.对比输入图像与重构图像， 使用L1损失函数计算它 们的损失作为异常 分数； S4.将获得的异常 分数， 采用阈值法或者归一 化法判定当前样本是否为异常； S5.获得异常图像后， 根据正常样本图像对异常图像上的异常区域进行标记， 随后输出 该图像并发出警报。 2.根据权利要求1所述的一种基于互对抗训练 的异常图像检测方法， 其特征在于， 使用 由两个卷积自编码器子网络构成的互对抗网络作为整个模型的重构网络， 每一个卷积自编 器都拥有 单独的重构 输出和概率输出， 重构网络通过基于互对抗训练的方法来学习正常图 像的数据空间。 3.根据权利要求2所述的互对抗训练方法， 其特征在于， 互对抗网络的两个卷积自编码 器在训练时， 可以采用线性对抗、 反转对抗和随机对抗三种方式进 行训练， 按照对应的训练 方式作为彼此的生成器或者判别器， 其本质在于 两个卷积自编码器的相互竞争。 4.根据权利要求1所述的一种基于互对抗训练 的异常图像检测方法， 其特征在于， 对于 阈值法， 它是在有标准的正常样例作为参照时， 利用重构网络重构该正常样例， 然后计算其 异常分数作为阈值， 在判定时， 将异常 分数大于该阈值的图像判定为异常。 5.根据权利要求1所述的一种基于互对抗训练 的异常图像检测方法， 其特征在于， 对于 归一化法， 它是在没有标准的正常样例时， 将同批次测试图像的异常分数归一化收缩至[ 0, 1]区间， 然后将归一化后异常分数大于0.5的样例定为异常， 特别的， 如果检测样例中含有 和正常样例差异很大的样例， 则需要先使用均值抑制这种噪音数据， 再进行归一 化。 6.一种异常图像 检测装置， 其特 征在于， 包括： 图像处理模块， 用于获取异常图像检测任务中的图像， 并可以调整图像分辨率、 朝向和 尺寸特征， 然后将获得的图像转换为可用于神经网络 输入的图像数据； 图像重构模块， 用于 重构检测图像， 计算重构图像与检测图像的损失并给 出异常分数； 异常判定模块， 用于从获得的异常 分数中判别异常； 异常定位模块， 用于从获得的异常图像中定位异常区域， 并发出警报。 7.一种异常图像 检测装置以及存 储介质， 其特 征在于， 包括： 存储器， 用于存储计算机程序以及检测过程中的缓存数据， 包括永久性存储介质和内 存， 永久性存储介质中存储诸如操作系统和以及计算机可以运行程序； 内存储器可用于存 储程序运行 过程中产生的临时数据， 如上述异常判定方法所述的同批次异常 分数； 处理器， 用于执 行前述异常图像 检测方法的各项步骤； 摄像头， 用于实时采集目标图像； 显示屏、 网络接口等装置， 显示屏用于输出异常图像以及显示异常图像上的异常部分， 且可使用触控显示屏 作为人机交 互的枢纽。权　利　要　求　书 1/1 页 2 CN 114581679 A 2一种基于互 对抗训练 的异常图像检测方 法、 装置及介质 技术领域 [0001]本发明涉及深度学习领域， 特别是涉及一种基于互对抗训练的异常图像检测方 法、 装置及 介质。 背景技术 [0002]检测异常图像是一项很重要的工作， 基于深度学习的检测设备可以自动地对图像 中的异常进行检测然后警报， 这可以减少人员的投入以及人为的疏忽导致对异常情况的漏 检。 该技术可以广泛应用于医学影像识别、 工业生产中产品质量的监控以及遥感监测等场 景。 [0003]在计算机视觉(Computer  Vision， CV)领域， 对异常的检测可以作为一个二分类问 题， 即正常/异常分类， 因此现有的很多工作都是使用神经网络将图像映射为两个代表正 常/ 异常的值， 然后经过Softmax层输出分类概率以获得检测结果。 虽然这种基于监督学习 的方法在很多应用上颇具成效， 但是它仍存在一些问题。 [0004]首先， 基于监督学习的方法要求大量且类别均衡 的样本来训练神经网络， 然而在 医学影像、 工业质检等领域， 异常样本远少于正常样 本， 即样本类别非常不平衡。 其次， 现实 应用中， 异常情况多种多样， 例如就医疗诊断中的脑瘤核磁共振图像而言， 正常的图像中， 大脑图像结构清晰、 规整， 而病变的大脑图像中， 病变体位置、 大小、 形状、 颜色深度等各不 相同， 无法收集所有情况并进 行归类。 最后， 基于监督学习的方法并不能够 对未曾出现过的 异常样本进 行预警， 因为在训练过程中神经网络没有 学习过它们。 因此， 基于监督学习的方 法可能并不 适用于图像的异常检测。 [0005]另一方面， 半监督学习的方法仅需要少量的正常样本来训练神经网络， 就能够获 得较好的检测能力， 并且基于重构的半监督方法对新颖样本依旧拥有很好的检测能力， 但 是该类方法的一个主要缺陷在于， 检测准确率较低以及虚警率较高。 因此， 提升 半监督学习 方法检测系统的检测能力是图像异常检测的关键 。 [0006]近年来生 成对抗网络(Generat ive Adversarial Networks， GAN)在CV领域展现出 了优异的性能， 基于它的的对抗训练思想， 本发明使用两个相同的卷积自编码器作为彼此 的生成器和判别器进行对抗训练， 通过对正常图像进行建模， 然后根据正常图像和异常图 像的差异性来检测异常。 该方法不仅可以很好地提升检测系统的准确 率， 还可以有效的降 低虚警率。 发明内容 [0007]基于现有方法的不足， 本发明公开一种基于互对抗训练的异常图像检测方法、 装 置以及介质。 本方法仅需要少量的正常图像就可以训练出一个性能很好的神经网络， 并且 可以减少训练时间， 它能够有效地解决半监督学习图像异常检测中准确率低和虚警率高的 问题。 [0008]为实现上述目的， 本方法提供一种基于互对抗训练的异常图像检测方法， 该方法说　明　书 1/7 页 3 CN 114581679 A 3