(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210706273.2 (22)申请日 2022.06.21 (65)同一申请的已公布的文献号 申请公布号 CN 114782694 A (43)申请公布日 2022.07.22 (73)专利权人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 王子磊　索浩银　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06T 7/11(2017.01) (56)对比文件 CN 114240892 A,2022.03.25 CN 113920075 A,202 2.01.11 CN 113962274 A,202 2.01.21 CN 114049332 A,202 2.02.15 CN 108876790 A,2018.1 1.23 CN 111369545 A,2020.07.0 3 Paul Bergman n et al. .Uninformed Students: Student –Teacher Anomaly Detection with Discrimi native Latent Embeddings. 《2020 IE EE/CVF Conference o n Computer Visi on and Pat tern Recogn ition (CVPR)》 .2020, 审查员 蒋亮 (54)发明名称 无监督异常检测方法、 系统、 设备及存储介 质 (57)摘要 本发明公开了一种无监督异常检测方法、 系 统、 设备及存储介质， 使用多个学生网络共同参 与预测， 避免使用单个学生网络时的随机化的影 响， 具有更好的模型鲁棒性； 使用特征金字塔结 构， 使用了多尺度特征， 可 以应对多尺度下的异 常情况； 使用语义分割网络进一步辅助改进预测 结果， 利用语义分割网络对异常区域轮廓的优秀 识别能力辅助修正上一步的结果， 使得整体方法 取得了最佳效果。 实验证明， 本发明获得了最高 的准确率， 可以更好 地应用于异常检测任务中。 权利要求书2页 说明书11页 附图6页 CN 114782694 B 2022.09.30 CN 114782694 B 1.一种无监 督异常检测方法， 其特 征在于， 包括： 构建语义分割辅助的单教师多学生无监督异常检测网络， 包括： 单个教师网络、 多个学 生网络以及语义分割网络； 通过教师网络与所有学生网络分别单独提取待测图像的多尺度 特征图， 将所有学生网 络提取的多尺度特征图按照尺度进行融合， 获得每一尺度的融合特征图； 将所述教师网络 提取的多尺度特征图按照尺度分别与相应尺度的融合特征图进行比较， 获得相应尺度的异 常热力图， 综合所有尺度的异常热力图得到多尺度异常热力图的融合结果； 通过语义分割 网络对所述多尺度异常热力图的融合结果进 行多尺度特征提取， 并以此预测异常区域检测 结果； 其中， 所述将所有学生网络提取的多尺度特征图按照尺度进行融合， 获得每一尺度的 融合特征图包括： 对于每一尺度， 综合来自所有 学生网络的相应尺度下的特征图， 并计算均 值与方差， 分别得到每一尺度的均值特 征图与方差特 征图， 构成每一尺度的融合特 征图； 将所述教师网络提取的多尺度特征图按照尺度分别与相应尺度的融合特征图进行比 较， 获得相应尺度的异常热力图， 综合所有尺度的异常热力图得到多尺度异常热力图的融 合结果包括： 将教师网络提取的多尺度特征图中每一尺度的特征图与相应尺度的均值特征 图进行相似度计算， 并与相 应尺度的方差特征图进行加权平均， 再上采样至待测图像的尺 寸， 获得每一尺度的异常热力图； 将所有尺度的异常热力图逐元素相乘， 获得多尺度异常热 力图的融合结果。 2.根据权利要求1所述的一种无监督异常检测方法， 其特征在于， 所述教师网络与 所有 学生网络的结构相同， 教师网络为预训练模型， 所有 学生网络均使用随机化参数初始化， 每 一学生网络均通过训练进行参数 更新； 训练阶段， 将相同训练图像分别输入至教师网络与每一学生网络， 教师网络与每一学 生网络各自提取出相应的多尺度特征图； 每一学生网络， 根据自身提取出 的多尺度特征图 中每一尺度特征图下每一位置的响应值， 与教师网络提取出的多尺度特征图中相应尺度特 征图下相应位置的响应值的差异构 造每一尺度下的损失函数， 综合所有尺度下的损失函数 构造总的训练损失函数， 并利用所述总的训练损失函数进行训练， 更新自身的参数。 3.根据权利要求1所述的一种无监督异常检测方法， 其特征在于， 所述通过语义分割网 络进行多尺度特 征提取， 并以此 预测异常区域检测结果的步骤 包括： 所述语义分割网络先对输入的多尺度异常热力图的融合结果进行特征提取， 获得初始 的图像特征； 所述初始的图像特征分别进入两个支路， 第一支路中， 对所述初始的图像特征 进行卷积操作获得第一特征； 第二支路中通过空洞空间卷积池化金字塔模块对所述初始的 图像特征进行多尺度特征提取， 再将提取出的多尺度特征拼接为包含多尺度信息的特征 图， 经过卷积与上采样操作后得到第二特征； 将所述第一特征与第二特征拼接后通过解码 获得语义预测结果， 所述语义预测结果即为异常区域检测结果。 4.根据权利要求1或3所述的一种无监督异常检测方法， 其特征在于， 该方法还包括： 预 先对所述语义分割网络进 行训练； 训练时， 使用异常图像进 行训练， 异常图像对应的多尺度 异常热力图的融合结果作为语义分割网络的输入， 监督信息为利用所述多尺度异常热力图 的融合结果生成的语义标注图； 利用所述语义分割网络的预测输出与监督信息之 间的差异 构造损失函数， 基于损失函数对所述语义分割网络进行训练， 更新所述语义分割网络的参权　利　要　求　书 1/2 页 2 CN 114782694 B 2数。 5.根据权利要求4所述的一种无监督异常检测方法， 其特征在于， 利用所述多尺度异常 热力图的融合结果 生成语义标注图的方式包括： 将训练时使用的异常图像记为 ， 对应的多尺度异常热力图的融合结果记为 ， 生成的语义标注图记为 ， 多尺度异常热力图的融合结果 与语义标注图 的 尺寸 相同 ， 位置点记为 ， 设定前景阈值 与背景阈值 ； 当 ， ， 即语义标注图 中的 位置点被划分为背景； 当 时， ， 即语义标注图 中的 位置点划分为前 景， 其中， 表示多尺度异常热力图的融合结果 中位置点 处的热力 值， 表示语义标注图 中位置点 处的标注值； 处于前景阈值与背景阈值之 间的位置点则为无法判断的模糊区域， 设置 ， 表示位置点 不参与语义 分割网络损失函数的计算。 6.一种无监督异常检测系统， 其特征在于， 基于权利要求1~5任一项所述的方法实现， 该系统包括： 异常检测网络构建单元， 用于构建语义分割辅助的单教师多学生无监督异常检测网 络， 包括： 单个教师网络、 多个学生网络以及语义分割网络； 异常检测单元， 利用构建的语义分割辅助的单教师多学生无监督异常检测网络进行异 常检测， 步骤包括： 通过教师网络与所有 学生网络 分别单独提取待测图像的多尺度特征图， 将所有学生网络提取 的多尺度特征图按照尺度进行融合， 获得每一尺度的融合特征图； 将 所述教师网络提取的多尺度特征图按照尺度分别与相应尺度的融合特征图进 行比较， 获得 相应尺度的异常热力图， 综合所有尺度的异常热力图得到多尺度异常热力图的融合结果； 通过语义分割网络对所述多尺度异常热力图的融合结果进 行多尺度特征提取， 并以此预测 异常区域检测结果。 7.一种处理设备， 其特征在于， 包括： 一个或多个处理器； 存储器， 用于存储一个或多个 程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1~5任一项所述的方法。 8.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行时 实现如权利要求1~5任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114782694 B 3