(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210276350.5 (22)申请日 2022.03.21 (71)申请人 湖南应超智能计算研究院有限责任 公司 地址 410131 湖南省长 沙市中国(湖南)自 由贸易试验区长沙片区东六路南段77 号东方智造 港C2栋17楼1701室 (72)发明人 徐晓晖　黄晃　张炼　 (74)专利代理 机构 长沙市融智专利事务所(普 通合伙) 43114 代理人 熊开兰 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于人工智能的绝缘子缺陷识别方法、 设备及介质 (57)摘要 本发明公开了一种基于人工智能的绝缘子 缺陷识别方法、 设备及介质， 包括： 将待缺陷识别 的绝缘子图像输入绝缘子串检测器， 检测获得绝 缘子串区域图像； 对绝缘子串区域图像进行角度 校正处理， 得到校正图像； 将校正图像输入缺陷 检测器以检测获得绝缘子缺陷区域， 缺陷检测器 基于改进的yolov5模型构建并训练得到； 根据缺 陷区域检测结果进行绝缘子缺陷识别： 若未检测 到缺陷区域， 判定当前绝缘子串不存在缺陷； 若 缺陷位于绝缘子串中间位置， 直接判定当前绝缘 子串存在缺陷； 若缺陷区域位于绝缘子串两端， 则再将缺陷区域图像输入绝缘子缺陷分类器， 根 据输出结果判定当前绝缘子串是否存在缺陷。 本 发明提高对绝 缘子缺陷的识别准确率。 权利要求书3页 说明书10页 附图6页 CN 114359286 A 2022.04.15 CN 114359286 A 1.一种基于人工智能的绝 缘子缺陷识别方法， 其特 征在于， 包括： 获取待缺陷识别的绝 缘子图像； 将待缺陷识别的绝缘子图像输入至预先训练好的绝缘子串检测器， 检测获得绝缘子串 区域图像； 对绝缘子串区域图像进行角度 校正处理， 得到校正图像； 在校正图像 中， 绝缘子串的棒 芯垂直于校正图像的边界线； 将校正图像输入至预先训练好的绝缘子缺陷检测器， 检测获得绝缘子串的缺陷区域图 像； 所述缺陷检测器 基于改进的yo lov5模型构建并训练得到； 根据缺陷区域检测结果进行绝 缘子缺陷识别： 若缺陷检测器未检测到缺陷区域， 则判定当前绝 缘子串不存在缺陷； 若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的中间位置， 则直接判定当前绝缘子 串存在缺陷； 若缺陷检测器检测到的绝缘子缺陷位于绝缘子串的两端， 则进一步将绝缘子的缺陷区 域图像输入预先训练好的绝缘子缺陷分类器， 根据输出结果判定当前绝缘子串是否存在缺 陷。 2.根据权利要求1所述的方法， 其特征在于， 所述绝缘子串检测器采用带实例分割的 mask‑rcnn目标检测器， 通过若干航拍的绝缘子串图像对深度神经网络模 型进行训练得到， 具体包括： 获取若干各种拍摄角度的绝缘子串的图像和其他不包含绝缘子串的电力设备的图像， 并进行标注， 构成绝 缘子串数据集； 对绝缘子串数据集中的图像进行 预处理， 构成绝 缘子串训练集和绝 缘子串测试集； 利用绝缘子串训练集和绝缘子串测试集， 对基于mask ‑rcnn带实例分割的深度学习网 络结构的模型进行训练， 得到带实例分割的绝 缘子串检测器。 3.根据权利要求1所述的方法， 其特征在于， 所述角度校正处理采用两阶段的图像校正 方法； 第一阶段的图像校正方法为： 绝缘子串检测器检测获得绝缘子串的轮廓， 将轮廓长轴 方向视为主方向， 计算主方向与图像边界方向的夹角， 根据该夹角对绝缘子串区域图像进 行旋转， 使得主方向与图像的底部边界水平线垂直， 得到初始校正图像； 第二阶段的图像校正方法为： 以比例a横向缩小初始校正图像； 然后对横向缩小后的图 像以比例b纵向缩小； 再提取图像中的绝缘子串边缘， 并采用hough算法计算图像中绝缘子 串的棒芯形成的直线； 最 终， 根据该直线与初始校正图像底 边边界水平线的夹角， 旋转初始 校正图像， 使得棒芯与图像的底部边界水平线垂直， 得到精确的校正图像； 其中 a>b。 4.根据权利要求1所述的方法， 其特征在于， 所述改进的yolov5模型， 其focus层包括6 个输入通道， 分别用于输入校正图像的r gb和hsv共6个通道信息； 所述 改进的yolov5模型， 其focus 层的卷积子层的切片后通道数， 为原 始改进前的2倍。 5.根据权利要求1所述的方法， 其特征在于， 所述改进的yolov5模型， 其输出层 prediction包括形式与结构均相同但分辨率特征图不同的3个输出子层； 其中， 每个输出子 层增加注意力机制， 包括 4层结构： 第1层结构的输入为yolov5模型Neck层输出， 包括1个卷积子层， 用于对Neck层的输出权　利　要　求　书 1/3 页 2 CN 114359286 A 2进行卷积变换； 经过卷积子层后再经过上采样， 将分辨率提高1倍， 输出特征图为1个通道， 表示特征图上的各点是否表示 绝缘子缺陷的概 率； 第2层结构的输入为yolov5模型Neck层输出， 包括1个卷积子层， 用于对Neck层的输出 进行卷积变换； 经 过卷积子层后再 经过上采样， 将分辨 率提高1倍， 输出 特征图为18个通道； 第3层结构采用注意力机制将第1层结构和第2层结构的输出进行融合， 具体为： 先将第 1层结构输出的特征图的各点的特征值的范围变换为[0.8,1]； 然后将第1层结构的输出特 征图与第2层结构 输出的各通道的特征图在相同位置的值进 行相乘， 得到与第2层结构 输出 特征图维数相同的特 征图； 第4层结构使用1个卷积子层对第3层结构输出的特征图进行变换， 卷积的步长为2， 实 现下采样的效果， 得到表示检测结果的特征图； 该特征图上各点表 示的检测结果， 包括每个 预设检测框为绝缘子缺陷前景的概率、 为绝缘子缺陷的概率以及与此预设检测框对应的实 际检测框的位置 。 6.根据权利要求5所述的方法， 其特征在于， 所述改进 的yolov5模型， 其训练的损失函 数为： 式中， L为改进的yolov5模型的损失函数值， 表示未改进的yolov5模型的损失函 数， 表示改进的yolov5模型的输出层的第k个输出子层的第1层结构的输出特征图上第i 点的标签值， 表示改进的yolov5模型的输出层的第k个输出子层的第1层结构输出特征 图上第i点的输出值， n表 示输出特征图的点的数目， k为输出子层的序号， yolov5模 型包含3 个输出子层。 7.根据权利要求1所述的方法， 其特 征在于， 所述 绝缘子缺陷分类 器的训练方法为： 获取若干各种拍摄角度的原始绝缘子图像， 并按照待缺陷识别的绝缘子图像相同的处 理方法， 获得其 绝缘子串区域图像和校正图像； 对绝缘子串区域图像和校正图像中位于绝缘子串两端处的绝缘子缺陷进行标注， 构建 缺陷绝缘子样本； 按照绝缘子缺陷标注框的尺寸， 对绝缘子串区域图像和校正图像中的正 常绝缘子区域进行 标注， 构建正常绝 缘子样本； 对缺陷绝缘子样本和正常绝缘子样本进行预处理， 然后输入至基于resnet的二分类模 型中进行训练， 得到绝 缘子缺陷分类 器。 8.根据权利要求7所述的方法， 其特征在于， 所述对缺陷绝缘子样本和正常绝缘子样本 进行预处理， 具体为： 对缺陷绝缘子样本和正常绝缘子样 本， 首先进 行边缘提取形成边缘二 值图像， 其中边缘像素值为255， 非边缘处像素值为0； 然后， 设边缘二值图像的像素值为 ， 绝缘子样本在通道 中的像素值为 ， 对边缘二值图像与 绝缘子样本进行融合得到预处 理后的融合图像： ， 式中， 表示融合图像在通道 中的像素值， a和b为融合的比 例系数。 9.一种电子设备， 包括存储器及处理器， 所述存储器中存储有计算机程序， 其特征在权　利　要　求　书 2/3 页 3 CN 114359286 A 3