(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210279968.7 (22)申请日 2022.03.22 (71)申请人 中国长江三峡集团有限公司 地址 100038 北京市海淀区玉渊潭南路1号 (72)发明人 周登科　邹祖冰　史凯特　汤鹏　 于傲　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 代理人 李博洋 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/70(2017.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种螺栓松动检测方法及装置 (57)摘要 本发明提供了一种螺栓松动检测方法及装 置， 该方法包括： 获取待检测螺栓的二维图像数 据和深度图像数据； 根据二维图像数据识别待检 测螺栓的各边缘相对于水平线的测量平均角度； 根据深度图像数据中待检测螺栓所在区域的像 素点计算待检测螺栓的测量距离； 将测量平均角 度和测量距离分别与待检测螺栓在初始状态下 的初始平均角度和初始测量距离进行比较， 根据 比较结果判定待检测螺栓是否处于松动状态。 通 过执行本发明不需要人工标注防松线即可实现 对待检测螺栓松动状态的检测， 提高了松动状态 的检测效率， 以及检测结果的可靠性， 并且， 通过 本发明结合三维距离的测量同时实现了对待检 测螺栓横向松动和纵向松动的检测， 提高了螺栓 松动检测的鲁棒 性。 权利要求书3页 说明书11页 附图4页 CN 114387268 A 2022.04.22 CN 114387268 A 1.一种螺 栓松动检测方法， 其特 征在于， 包括： 获取待检测螺 栓的二维图像数据和深度图像数据； 根据所述 二维图像数据识别所述待检测螺 栓的各边 缘相对于水平线的测量平均角度； 将所述深度图像数据中的像素点与 所述二维图像数据中的像素点进行匹配， 得到像素 点匹配结果， 并根据所述像素点匹配结果以及待检测螺栓在所述二维 图像数据中的位置， 在所述深度图像数据中确定待检测螺 栓所在区域； 根据所述深度图像数据中待检测螺栓所在区域的像素点计算所述待检测螺栓的测量 距离； 将所述测量平均角度和所述测量距离分别与所述待检测螺栓在初始状态下的初始平 均角度和初始测量距离进 行比较， 若 所述测量平均角度与所述初始平均角度的绝对差值大 于第一预设值， 和/或， 所述测量距离与所述初始测量距离的绝对差值大于第二预设值， 判 定所述待检测螺 栓处于松动状态。 2.根据权利要求1所述的螺栓松动检测方法， 其特征在于， 根据 所述二维图像数据识别 所述待检测螺 栓的各边 缘相对于水平线的测量平均角度， 包括： 将所述二维图像数据输入至预先训练 的螺栓分割 模型中， 识别所述二维图像数据中的 待检测螺栓， 并对所述二维 图像数据中的待检测螺栓进行分割， 得到所述待检测螺栓的掩 膜区域； 对所述待检测螺栓的掩膜区域进行边缘检测， 并检测待检测螺栓的边缘直线， 得到所 述待检测螺 栓各边的边 缘直线方程； 根据各所述边缘直线方程与 所述二维图像数据的图像像素坐标系 x轴正方向之间的夹 角， 计算所述待检测螺 栓的各边 缘相对于水平线的测量平均角度。 3.根据权利要求2所述的螺 栓松动检测方法， 其特 征在于， 还 包括： 所述螺栓分割模型通过对改进的Mask  RCNN模型进行训练得到； 所述改进的Mask  RCNN模型包括全卷积网络、 特 征金字塔网络、 区域建议网络； 所述特征金字塔网络包括至少一个金字塔层， 每个金字塔层连接有一个空洞卷积层， 所述空洞卷积层包含多种不同扩张率的空洞卷积核； 所述全卷积网络中包括多个卷积层和 池化层； 所述全卷积网络中使用的卷积层使用多种不同扩张率的空洞卷积核； 所述区域建议网络包 含不同尺寸的锚点框； 所述区域建议网络使用非极大值抑制方法筛 选感兴趣区域。 4.根据权利要求2或3所述的螺 栓松动检测方法， 其特 征在于， 还 包括： 训练所述螺 栓分割模型时所使用的损失函数为：权　利　要　求　书 1/3 页 2 CN 114387268 A 2， 其中， 为分类损失函数， 为检测损失函数， 为分割损失函数， 为边 界损失函数，  Ncls为归一化的批量梯度下降尺寸， Nbox为归一化的锚点位置的数量， 超参数 γ是用来平衡分类和回归任务损失的因子， pi表示第i个预测框被检测为目标的概率， pi*表 示第i个预测框被预测为前景的概率， pi*在回归损失中仅对阳性锚 （ pi*=1） 起作用， 否则失 效 （pi*=0） ，ti为一个向量， 表示第i个预测框的参数化坐 标偏移量，ti*表示第i个目标框的真 实坐标偏移量， R表示整个分割区域， y表示标注的目标边缘， 表示预测边界， 表示权重 系数， B表示分割结果的边界，   为对标注数据分割边界的距离变换。 5.根据权利要求1所述的螺栓松动检测方法， 其特征在于， 在获取待检测螺栓的二维图 像数据和深度图像数据的步骤 之后， 将所述深度图像数据中的像素点与所述二维图像数据 中的像素点进行匹配， 得到像素点匹配结果的步骤之前， 还 包括： 采用中值滤波算法对所述深度图像数据进行 预处理， 得到降噪后的深度图像数据。 6.根据权利要求1或5所述的螺栓松动检测方法， 其特征在于， 将所述深度图像数据中 的像素点与所述 二维图像数据中的像素点进行匹配， 得到像素点匹配结果， 包括： 获取采集所述二维图像数据的第 一图像采集设备的第 一相机标定参数， 以及采集所述 深度图像数据的第二图像采集设备的第二相机标定参数； 利用所述第一相机标定参数和所述第二相机标定参数分别对所述二维图像数据和所 述深度图像数据进行校正， 得到二维 图像校正数据和深度图像校正数据， 所述二维 图像校 正数据和深度图像校正数据位于同一平面且互相平行； 通过第二图像采集设备中红外传感器的内参矩阵将所述深度图像校正数据的像素坐 标转换到红外传感器坐标系； 根据红外传感器的外参矩阵计算旋转平移矩阵， 利用所述旋转平移矩阵将所述深度图 像校正数据的像素坐标从所述红外传感器坐标系转换到世界坐标系； 将所述深度图像校正数据的像素坐标从所述世界坐标系中转换到第一图像采集设备 的坐标系； 利用所述第一图像采集设备的内参矩阵将所述深度图像校正数据的像素坐标从所述 第一图像采集设备的坐标系中转换到二 维图像校正数据的平面坐标系中， 得到像素点匹配权　利　要　求　书 2/3 页 3 CN 114387268 A 3