(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210287241.3 (22)申请日 2022.03.22 (71)申请人 广东粤海水务投资有限公司 地址 518000 广东省深圳市罗湖区黄贝街 道水库社区东湖二路68号粤海水务1 号楼整套 申请人 哈尔滨工业大 学水资源国家工程研 究中心有限公司 　 郑州大学 (72)发明人 王晶惠　郑成志　王念念　方宏远　 马铎　武睿　高新磊　房睿　 (74)专利代理 机构 成都东恒知盛知识产权代理 事务所 (特殊普通合伙) 51304 专利代理师 李英(51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) G06T 7/246(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于自注意力机制的多类管道缺陷检 测、 追踪与计数方法 (57)摘要 本发明公开了一种基于自注意力机制的多 类管道缺陷检测、 追踪与计数方法， 包括如下步 骤： S1、 获取多类管道缺陷图像； S2、 建立管道缺 陷图像数据集； S3、 构建管道缺陷检测模型并训 练； S4、 构建管道缺陷追踪与计数模型； S5、 测试 并输出结果。 本发明采用基于自注 意力机制的深 度学习方法， 研发适用于管道 缺陷特征的目标检 测、 追踪与计数算法， 基于管道缺陷大数据进行 模型训练， 提高模型的鲁棒性和泛化能力。 本发 明采用Tran sformer基础网络代替了传统卷积神 经网络， 提高模型检测的准确度， 实现了管道缺 陷的自动识别与计数功能。 权利要求书2页 说明书7页 附图2页 CN 114723957 A 2022.07.08 CN 114723957 A 1.基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其特征在于， 包括如下步 骤： S1、 获取多类管道缺陷图像； S2、 建立管道缺陷图像数据集； S3、 构建管道缺陷检测模型并训练； S4、 构建管道缺陷追踪与计数模型； S5、 测试并输出 结果。 2.根据权利要求1所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述 步骤S1中的获取多类管道缺陷图像具体包括以下子步骤： S11、 采用管道爬行机器人采集管道内表面 缺陷图像及视频； S12、 对原始图像进行预处理， 将视频分割为帧图像， 统一所有图像的分辨率256 ×256， 保存为jpg格式； S13、 挑选含有一类或多类缺陷的图像。 3.根据权利要求1所述的， 其特征在于： 所述步骤S2中建立管道缺陷 图像数据集具体包 括以下子步骤： S21、 将步骤S1得到的管道缺陷图像按缺陷类别分类， 分类为错口， 破裂， 障碍物三类缺 陷； S22、 构建生成对抗GAN网络， GAN网络由生成器和鉴别器组成， 生成器接收到随机噪声， 并产生一个新的图像， 鉴别器确定图像是否 真实； 按照管道 缺陷类别分别训练网络， 得到三 类缺陷图像的生成模型并生成图像， 保存为jpg格式； S23、 将原始图像和生成图像整合到同一文件夹内， 并按照 图片顺序对图片进行重命 名； S24、 标注图片背景区域像素为0， 错口区域像素为1， 破裂区域像素为2， 障碍物区域像 素为3， 保存为xml格式； S25、 将标定后的jpg格式的图片和生成的xml格式的标注信息结合， 建立管道缺陷图像 数据库； S26、 将步骤S25的图像数据库按6： 2： 2的比例随机划分为训练集， 验证集和 测试集。 4.根据权利要求1所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述步骤S3中的构建管道缺陷检测模型并训练具体包括： 构建搭载基于自注意 力机制的管道缺陷检测模型， 使用迁移学习方法进行模型初始化， 将训练集数据输入到训 练模型， 对比模型训练过程中损失值及准确率的变化曲线， 调整并寻找最优超参数， 输入验 证集数据到模型中进行验证， 达 到验证预期值后， 保存 模型。 5.根据权利要求4所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述的寻找最优超参数的主要依据为： 通过设置不同超参数时， 对比训练过程中 准确率上升曲线的最大值和损失值下降曲线的平稳度和收敛性； 所述的验证预期值是模型 的准确率达到88.860％， 损失曲线趋于平缓； 所述的最优超参数为： 初始学习率为0.00001， 每次迭代的小批量图片数量 为2， 权重衰减值为0.0005， 共迭代61个 循环。 6.根据权利要求4所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述的自注意力机制是通过计算输入序列间的互相影响， 得到与当前预测值相权　利　要　求　书 1/2 页 2 CN 114723957 A 2关的注意力权重值， 具体过程为： 先将原始图像分割为9个二维区块， 将各二维区块向量化 为自注意力机制模型可以接收的一维有效序列(x1， x2， x3，…， x9)， 通过全连接层， 将一维序 列转换为固定长度的内容向量， 对每个区块增加位置编 码信息， 然后嵌入内容向量， 得到语 义序列(z1， z2， z3，…， z9)， 最终得到注意力权 重值； 所述的自注意力机制包括查询向量、 关键向量和值向量， 所述的查询向量代表了前项 输出yi‑1； 所述的关键向量用于控制各输入值xi影响输出值yi的关键程度， 所述的值向量代 表了各输入值xi的大小， 关键向量与查询向量相乘， 通 过Softmax函数获得权重向量ai， 代表 了在预测输出值yi的过程中， 输入向量各值的注意力程度。 7.根据权利要求1所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述的步骤S4中的构建管道缺陷追踪与计数模型是： 在追踪网络中加入了自注 意力机制并采用管道 缺陷图像数据库训练该网络， 构建基于自注意力机制的管道缺陷追踪 与计数模 型， 当检测到某一类管道缺陷时， 采用追踪算法对该病害追踪直至其消失， 该类病 害计数数量增加1， 具体过程 为： S41、 将管道视频序列输入模型， 采用管道缺陷检测模型检测第一帧缺陷， 定位初始边 界框， 缺陷数量增 加1个； S42、 采用管道缺陷追踪网络中的追踪算法对定位的缺陷进行跟踪， 直到它在视频中消 失； S43、 待跟踪到的缺陷在帧序列中消失后， 则继续检测 和计数下一个缺陷； S44、 最后得到各类别缺陷的总数。 8.根据权利要求7所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述的步骤S42中的追踪算法包括： 首先， 采用卷积神经网络获得上一 帧和当前 帧的特征图； 然后， 采用自注意力机制， 解码获得检测框和追踪框； 最 终， 在同一帧上使用交 并比函数匹配关联追踪框和检测框 完成追踪。 9.根据权利要求1所述的基于自注意力 机制的多类管道缺陷检测、 追踪与计数方法， 其 特征在于： 所述步骤S5中的测试并输出结果具体是： 将测试集输入到上述的检测、 追踪、 计 数模型中， 检测并追踪计数管道缺陷， 判断检测数值指标能否达到预期的准确率， 达到预期 后输出管道缺陷结果。 10.根据权利要求8所述的基于自注意力机制的多类管道缺陷检测、 追踪与计数方法， 其特征在于： 所述的检测数值指标主要包括精确率， F1分数及PR曲线； 所述PR曲线是以召回 率为横坐标， 精确 率为纵坐标的变化 曲线； 所述预期的准确 率为各类管道缺陷的准确 率达 到85％以上。权　利　要　求　书 2/2 页 3 CN 114723957 A 3