(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210268493.1 (22)申请日 2022.03.18 (71)申请人 西南交通大 学 地址 610031 四川省成 都市金牛区二环路 北一段111号 (72)发明人 李瑞晨　唐启超　孙永奎　马磊　 王清沂　金宇荣　聂甫恒　徐健　 (74)专利代理 机构 成都信博专利代理有限责任 公司 5120 0 专利代理师 舒启龙 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/20(2006.01) G06T 7/12(2017.01) G06T 7/136(2017.01)G06T 7/60(2017.01) G06V 10/25(2022.01) G06V 10/30(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) B23K 9/04(2006.01) B23K 9/173(2006.01) (54)发明名称 一种适用于窄间隙MAG堆焊熔池图像的多特 征提取方法 (57)摘要 本发明公开了一种适用于窄间隙MAG堆焊熔 池图像的多特征提取方法， 具体为： 从熔池特征 角度出发， 搭建了合适的熔池图像采集平台， 先 设置感兴趣区域， 再通过OTS U阈值分割法的特性 粗分割出熔池的明、 暗区， 再按照不同区域采取 不同的图像特征提取方法， 最后根据窄间隙MAG 堆焊场景下重新定义了熔池特征并准确提取， 实 现了熔池特征的自动提取。 本发明， 有效的提高 了图像处理算法的并行性， 保证了熔池 特征提取 的实时性。 权利要求书2页 说明书5页 附图5页 CN 114677296 A 2022.06.28 CN 114677296 A 1.一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法， 其特征在于， 包含以下步 骤： 步骤1： 安装设备和调试设备； 将CMOS工业相机安装上镜头和滤光系统， 沿焊接方向同轴装配在焊接机器人末端执行 器上， 与焊枪位姿保持相对静止， 采用设置工业相机与焊接平面呈40度夹角， 斜向下指向熔 池， 与熔池中心距离20cm， 通过工业计算机将相机曝光时间设置为150 μs， 曝光补偿设置为 10dB； 步骤2： 采集熔池图像； 设置窄间隙MAG堆焊焊材进行焊接实验， 同时工业计算机控制采集系统开启， 此时采集 熔池图像通过总线传输 到工业计算机中； 步骤3： 图像分析及方法设计； S3.1： 特征定义； 定义熔池宽度W为最左侧点到最右侧点的平行距离， 熔池长度L为最顶侧点到最底侧点 的垂直距离， 长宽比β 为上述两要 素的比值， 拖尾角 α 为最左侧点、 最右侧点与最底侧点所形 成三角形的顶点； S3.2： 图像平 滑与增强； 首先， 设置感兴趣区域R； 其次， 对图像采取高斯滤波； 最后， 继续对区域R采取开操作； S3.3： 明暗分区和熔池头 部轮廓提取； 首先， 采用OTS U自适应阈值 分割法获得最佳分割阈值阈值T1， 采用面积过滤器滤除掉噪 声， 此时得到经过阈值T1分割出的头部区域R0； 其次， 将头部区R0的最低点所在的水平线作 为明暗分区的依据， 将区域R分为亮区R0和暗区R1， 最佳分割阈值T1作为CANNY算法中非极大 值抑制中的高阈值TH， 低阈值TL为高阈值TH的一半； 最后， 将 CANNY算法中提取的轮廓经长度 过滤器提取到最大长度对应 轮廓L1； S3.4： 熔池尾部轮廓提取； 首先， 将步骤S3.3明暗分区后的暗区R1进行单次OTSU分割得到熔池尾部轮廓； 其次， 通 过面积滤波器得到面积最大的两部分区域， 分别拟合两部分的轮廓L2和L3； 最后， 将L2和L3 通过位置关系映射到区域R1上； S3.5： 轮廓点 合并及拟合； 将得到的熔池轮廓L1、 L2和L3， 组合起来形成新的轮廓集合L， 采用最小垂直矩形拟合方 法获得轮廓的外矩形轮廓Lr， 其长宽分别为 l、 ω； S3.6： 特征提取； 首先， 通过步骤S3.1 的特征定义， 结合步骤S3.5得到的L和Lr， 熔池宽度ω和长度l分别 对应Lr的长宽W和L， 长宽比β 为上述两个值的比值； 其 次， Lr与L左右边界相交 的点的像素坐 标为为A(x0,y0)、 B(x1,y1)； 最后， 通 过轮廓L2和L3最靠近焊丝的点， 取它们的横坐 标a1、 a2， 以 作一垂直线与Lr底边相交， 此为定义的轮廓最底侧 点， 像素坐标记为C(x2,y2)， 角∠ ACB即为拖尾角 α 。 2.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法， 其特 征在于， 所述步骤1中， 工业相机 型号为MER2 ‑502‑79U3M， 镜头 型号为HN ‑5024‑5M‑C2/3X， 滤权　利　要　求　书 1/2 页 2 CN 114677296 A 2光系统包含650nm的窄带滤光片和两个参数分别为32dB和8dB的减光片； 焊接机器人型号为 ABB IRB1410， 焊机型号 为VR7000‑CMT。 3.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法， 其特 征在于， 所述步骤2中， 焊接工艺数据包括： 焊材型号为q235b， 焊道长度55mm， 焊道宽度 10mm， 焊丝型号 为ER70S‑6， 焊接速度为7m m/s， 保护气体标准 流量为10L/mi n。 4.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法， 其特 征在于， 所述 步骤S3.3中， T1、 TH、 TL计算公式如下： 其中， 设分割阈值为t， 通过阈值分割法将图像分割为C0和C1两个部分； 上式中， C0、 C1范 围内的平均值表示为μ0、 μ1， 范围内像素点数占图像像素点总数的比例表示为ω0、 ω1， ω0 ω1( μ0‑μ1)2为OTSU算法中的最大类间误差 。 5.根据权利要求1所述的一种适用于窄间隙MAG堆焊熔池图像的多特征提取方法， 其特 征在于， 所述 步骤3中， W、 L、 β 、 α 的计算公式如下： 上式中， l、 ω为步骤S3.5外矩形轮廓Lr的长宽， x0、 y0、 x1、 y1、 x2、 y2来源于步骤S3.6中提 取到的相关点。权　利　要　求　书 2/2 页 3 CN 114677296 A 3