(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210685048.5 (22)申请日 2022.06.14 (71)申请人 河北工业大 学 地址 300130 天津市红桥区丁字沽光 荣道8 号河北工业大 学东院330# 申请人 天津市特种设备监 督检验技 术研究 院 （天津市特种设备事故应急调查 处理中心）　 天津鼎华检测科技有限公司 (72)发明人 石陆魁　刘彦东　温嘉伟　杜非　 牛卫飞　 (74)专利代理 机构 天津翰林知识产权代理事务 所(普通合伙) 12210 专利代理师 蔡运红(51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01) G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于形状感知的焊 接缺陷检测方法 (57)摘要 本发明为基于形状感知的焊接缺陷检测方 法， 包括以深度学习网络为基础， 构建缺陷检测 模型， 将训练后的缺陷检测模型用于焊接缺陷检 测， 输出包括目标类别和位置信息的预测结果； 缺陷检测模 型为双阶段网络结构， 第一阶段包括 ResNeXt101网络、 FPN模 块、 基于形状尺度感知的 区域建议网络模块， 第二阶段包括基于形状定位 的检测头模块； 基于形状尺度感知的区域建议网 络模块预测锚框的大小和形状， 在每个采样点生 成大量的锚框， 有效获取缺陷的形状细节信息； 将筛选得到的候选框输入到基于形状定位的检 测头模块中提取缺陷的上、 下、 左、 右边缘特征， 利用边缘特征得到预测框四条边缘的位置信息， 有利于细长型缺陷的检测， 提高了模型检测精 度。 权利要求书3页 说明书10页 附图6页 CN 114943843 A 2022.08.26 CN 114943843 A 1.一种基于形状感知的焊接缺陷检测方法， 其特征在于， 该方法包括以深度学习网络 为基础， 构建缺陷检测模型， 将训练后的缺陷检测模型用于焊接缺陷检测， 输出包括目标类 别和位置信息的预测结果； 缺陷检测模型为双阶段网络结构， 第一阶段包括ResNeXt101网络、 FPN模块、 基于形状 尺度感知的区域建议网络模块， 第二阶段包括基于形状定位的检测头模块； 缺陷图像经过 ResNeXt101网络提取特征， 将ResNeXt101网络的第二～五层卷积结构提取的特征图C2～C5 输入到FPN模块中进行特征融合， 特征图C5输入到FPN模块中即为特征图P5， 对特征图P5进 行下采样， 得到特征图P6； 与此同时， 将特征图P5和C4进行融合， 得到特征图P4； 将特征图P4 与C3进行融合， 得到特征图P3； 将特征图P3和C2进行融合， 得到特征图P2； 特征图P2～P6即 为FPN模块的输出特征， 将特征图P2～P6输入到基于形状尺度感知的区域建议网络模块中 进行第一次预测； 在基于形状尺度感知的区域建议网络模块中， 首先利用式(1)对输入特征图F进行3 ×3 卷积操作， 得到特 征图F1； F1＝Tconv3(F)           (1) 式中， Tconv3表示3×3卷积操作； 其次， 利用式(2)对特 征图F1进行1×1卷积操作， 得到形状预测特 征图Fs； Fs＝Tconv1(F1)          (2) 式中， Tconv1表示1×1卷积操作； 然后， 对形状预测特 征图Fs进行1×1卷积操作， 得到包 含锚框形状信息的偏移量Δpn； Δpn＝Tconv1(Fs)         (5) 再将偏移量Δpn与特征图F1进行3×3可变形卷积， 得到 特征图F2； 最后， 利用特征图F2对 形状预测特 征图Fs中生成的锚框进行分类和回归， 对缺陷进行第一次预测； 在可变形卷积中， 利用式(6)对特征图F1中的每个采样点进行变形， 扩大每个采样点对 应的感受野， 使得采样点能够感知更 大范围内的内容； 式(6)中， χ表示特征图F1中采样点的集合， wt为权衡系数， F2(p0)表示特征图F2中采样点 p0的值， pn表示集合 χ 中的元 素， F1(p0+pn+Δpn)表示特征图F2中采样点p0扩大感受野后的值； FPN模块的输出特征分别经过池化层， 得到RoI特征图； 对锚框进行筛选得到候选框， 将 候选框与RoI特征图一起输入到基于形状定位的检测头模块中进行第二次预测； 基于形状 定位的检测头模块包括特征提取和分类回归两个分支， 特征提取分支包括边缘特征提取和 定位回归两部 分， 边缘特征提取用于得到缺陷的上边缘特征向量、 下边缘特征向量、 左边缘 特征向量和右边 缘特征向量， 定位回归用于对缺陷进行定位。 2.根据权利要求1所述的基于形状感知的焊接缺陷检测方法， 其特征在于， 所述基于形 状定位的检测 头模块中， 边缘特征提取的具体过程为： 首先， 将RoI特征图进行两次3 ×3卷 积操作， 得到特 征图Fr， 再通过自注意力机制获取Ro I特征图中的空间信息， 公式如下： Mx(xi,yi)＝Gx(Tconv1(Fr(xi,yi)))    (7) My(xi,yi)＝Gy(Tconv1(Fr(xi,yi)))    (8) 式中， Mx(xi,yi)、 My(xi,yi)分别表示沿X、 Y轴方向的注 意力图中采样点(xi,yi)的空间信权　利　要　求　书 1/3 页 2 CN 114943843 A 2息， Gx、 Gy分别表示沿X、 Y轴方向正则化， Fr(xi,yi)为特征图Fr中采样点(xi,yi)的值； 然后， 分别将空间信息Mx(xi,yi)、 My(xi,yi)与特征图Fr进行相乘， 分别得到沿X、 Y轴方向 的特征图Fx和Fy； Fx＝Mx(xi,yi)*Fr(xi,yi)         (9) Fy＝My(xi,yi)*Fr(xi,yi)        (10) 式中， *表示相乘操作； 利用式(11)对特征图Fx进行1×3卷积操作， 得到特征图 再利用式(13)对特征图 进行卷积倍数为2的一维反卷积操作， 得到特征张量 同理， 利用式(12)对特征图Fy进行3 ×1卷积操作， 得到特征图 再利用式(14)对特征图 进行卷积倍数为2的一维反卷积操 作， 得到特 征张量 式中， Tconv表示卷积 操作， Ttran表示一维反卷积 操作； 然后， 利用split函数对特征张量 和 进行分割， 得到缺陷的上边缘特征张量Ftop、 下边缘特征张量Fbottom、 左边缘特征张量Fleft和右边缘特征张量Fright； 最后， 对缺陷的上边缘特征张量Ftop、 下边缘特征张量Fbottom、 左边缘特征张量Fleft和右 边缘特征张量Fright分别进行全连接操作， 得到缺陷的上边缘特征向量、 下边缘 特征向量、 左 边缘特征向量和右边 缘特征向量。 3.根据权利要求1或2所述的基于形状感知的焊接缺陷检测方法， 其特征在于， 所述基 于形状定位的检测头模块中， 定位回归包括块估计和微调回归两部 分； 在定位之前， 首先确 定一个候选区域范围覆盖检测目标， 然后将该区域在水平和垂 直方向上划分为块； 具体的， 给定一个候选框， 候选框的上、 下、 左、 右边缘分别为Etop、 Ebottom、 Eleft和Eright， 通过放大因子 扩大候选区域， 候选区域在X轴和Y轴方向分别被划分为2 k个块， k为正整 数， 每k个块对应一 条候选区域的边 缘， 通过式(17)和(18)计算每 个块在X轴和Y轴上的宽度wx和wy； 式中， δ表示 放大因子， δ ＞1； 在块估计中， 通过边缘特征提取得到的四个边缘特征向量， 利用二分类法得到预测框 每条边缘对应的块， 进而得到X轴上两条边缘的坐标点(x1,x2)和Y轴上两条边缘的坐标点权　利　要　求　书 2/3 页 3 CN 114943843 A 3