(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726947.5 (22)申请日 2022.06.23 (71)申请人 西南交通大 学 地址 610000 四川省成 都市二环路北一段 (72)发明人 何庆　陈正兴　王启航　王晓明　 王平　吴军　杨康华　匡俊　 曾楚琦　付彬　刘震　余天乐　 姚继东　 (74)专利代理 机构 北京云嘉 湃富知识产权代理 有限公司 1 1678 专利代理师 刘新桐 (51)Int.Cl. G06T 7/00(2017.01) G06T 5/20(2006.01) G06T 5/40(2006.01)G06V 10/34(2022.01) G06V 10/36(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G01N 21/88(2006.01) G01N 29/06(2006.01) G01N 29/44(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种融合巡检图像和超声波图像的钢轨表 面伤损检测方法 (57)摘要 本发明涉及钢轨图像智能检测算法领域， 具 体为一种融合巡检图像和超声波图像的钢轨表 面伤损检测方法， 其包括以下步骤： S1、 查找相同 里程位置处的钢轨巡检图像和超声波B显图像， 按里程号对应命名并保存为jpg格式图片； S2、 构 建钢轨巡检图像数据集； S3、 滤除超声波B显图像 中的杂波； S4、 构建钢轨表面分割算法提取钢轨 表面图像； S5、 搭建CUFuse模型； S6、 将钢轨巡检 图像数据集按8： 2划分训练集和测试集， 将训练 集中的数据输入到CUFuse模型中进行训练； S7、 使用测试集对CUFuse模型进行测试； S8、 将训练 完成的CUFuse模型封装作为插件安装到RUD ‑15 型双轨式钢轨超声波探伤仪中。 本发 明通过构建 一个相机和超声数据融合模型， 从而提高轨道表 面缺陷的检测精度和检测效率。 权利要求书2页 说明书7页 附图18页 CN 115239632 A 2022.10.25 CN 115239632 A 1.一种融合巡检图像和超声波图像的钢轨表面伤损检测方法， 其特征在于， 包括以下 步骤： S1、 在双轨式探伤小车回放软件中查找相同里程位置处的钢轨巡检 图像和超声波B显 图像， 按里程 号对应命名并保存为jpg格式图片； S2、 人工对具有相同位置戳的钢轨巡检图像和超声波B显图像进行分类， 类别主要包括 轻微、 中等、 严重三类钢轨表面伤损状态和正常、 接头两类正常钢轨表面状态， 将不同类别 的钢轨巡检图像和超声波B显图像保存在不同文件夹， 并生成一个CSV文件存储钢轨巡检图 像和超声波B显图像对应的里程编号、 类别标签以及 存储位置信息， 最 终构建钢轨巡检图像 数据集； S3、 使用“8邻域降噪算法 ”滤除超声 波B显图像中的杂波； S4、 对钢轨 巡检图像进行 预处理并构建钢轨表面分割算法提取钢轨表面图像； S5、 搭建多源数据融合与深度学习的钢轨表面伤损检测模型， 简称CUFuse模型， CUFuse 模型由多源数据特 征提取网络与多尺度特 征融合网络组成； S6、 将S2中构建的数据集按8： 2划分训练集和测试集， 将训练集中的数据输入到CUFuse 模型中进行训练， 在训练过程中采用SGD优化器， 将学习速率设置为0.0001， 权重衰减为 1× 10‑6， 动量为0.9， 训练轮数epoch数设置为100， 学习率每十个epoch衰减十倍， 并在损失值 不再下降十个epoc h后停止训练， 训练结束后保存训练模型与权 重文件； S7、 使用测试集对CUFuse模型进行测试， 输出检测类别判别结果， 并对测试效果进行评 估； S8、 将训练完成的CUFuse模型封装作为插件安装到RUD ‑15型双轨式钢轨超声波探伤仪 中进行日常的钢轨 探伤作业中的钢轨表面伤损智能识别任务。 2.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法， 其特 征在于， S4中， 具体流 程如下： S41、 通过L og变化算法和直方图均衡化 算法对图像进行增强； S42、 使用双边滤波算法对增强后的图像进行 滤波； S43、 使用Sobel 算子边缘检测算法检测图像中的竖直 边缘； S44、 对Sobel 算子边缘检测后的图进行 灰度均值统计； S45、 对统计数据进行平 滑滤波； S46、 设定阈值K， K＝0.3， 并查找所有大于K的峰值 点{M1,M2, …,Mn}； S47、 寻找最大值 点M(x1,y1)； S48、 判断x1是否大于T， 且小于w， T为预估钢轨宽度， T取值为435， w为图像宽度， w取值 为1352， 确保轨面完整落入图像中； S49、 若不满足S48中的条件， 则在{M1,M2, …,Mn}中寻找下一个最大值点M(x1,y1)， 直 到找到满足要求的点M， 该点M即为钢轨的内侧边 缘； S410、 若x1<w/2， 则判定该图像中的钢轨为左轨， 否则为右轨； 若为左轨， 寻找钢轨外侧 边缘的N(x2,y2)， 设定搜寻范围U， U取值为100， 在x1 –T–U<x2<x1–T+U范围内寻找最大值点N (x2,y2)， 该点N即为左轨钢 轨的外侧边缘； 若为右轨， 寻找钢 轨外侧边缘的N(x2,y2)， 设定 搜寻范围U， U取值为100， 在x1+T –U<x2<x1+T+U范围内寻找最大值点N(x2,y2)， 该点N即为右 轨钢轨的外侧边 缘；权　利　要　求　书 1/2 页 2 CN 115239632 A 2S411、 判断x1与x2 中的最小值min(x1,x2)和最大值max(x1,x2)， 将(0,min(x1,x2))与 (max(x1,x2),w)范围内的像素值设为0， 即将轨面两侧区域涂黑。 3.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法， 其特 征在于， S5中， 多源数据特征提取网络是CUFuse的第一部分， 该网络使用两个BoTNet  50网 络作为特征提取网络， 分别提取基于相机的图像和超声B扫描图像的特征， 并在从低级到高 级的五个阶段输出这两个模型的特征向量； 多尺度特征融合网络是CUFuse的第二部分， 首 先设计一个具有特征融合、 特征提取、 特征重标定和特征上采样功能的特征融合模块， 该模 块由特征拼接层、 2D卷积层、 批量归一化层、 Relu激活层、 SE模块以及特征2倍上采样层组 成， 使用5个特征融合模块， 分别融合特征提取网络中两个BoTNet  50网络输出的5级特征信 息， 最后形成一个多尺度的特 征融合网络 。 4.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法， 其特 征在于， S6中， 使用ROC曲线和AUC指标来评估模型的测试结果， ROC曲线为接收器操作特性 曲线， AUC为ROC曲线下面积； ROC曲线是以假阳率(FPR)为横坐标、 真阳率(TPR)为纵坐标绘 制的图形， AUC度量是ROC曲线下的面积， 计算FPR和TPR的公式如下： 其中， FP为 假正例， TN为真反例， TP为真正例， FN 为假反例。 5.根据权利要求1所述的融合巡检图像和超声波图像的钢轨表面伤损检测方法， 其特 征在于， S6中， 构建在CUFuse模型下的分类结果的混淆矩阵， 混淆矩阵的横坐标为实际标 签， 纵坐标为预测标签。权　利　要　求　书 2/2 页 3 CN 115239632 A 3