(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221023890 0.4 (22)申请日 2022.03.11 (71)申请人 山东科技大 学 地址 266590 山东省青岛市黄岛区前湾港 路579号 (72)发明人 王智慧　贾宪青　董雯雯　燕庆杰　 刘正　杨方艳　崔宾阁　于建志　 路燕　包永堂　王路　 (74)专利代理 机构 安徽顺超知识产权代理事务 所(特殊普通 合伙) 34120 专利代理师 陈波 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于机器视觉的工件表面缺陷检测方 法和装置 (57)摘要 本发明提供一种基于机器视觉的工件表面 缺陷检测方法， 在YOL Ov3网络模型的初始损失函 数中新增加giou损失项得到优化了的YOLOv3目 标网络模型， 使得无论大小缺陷其检测框更加接 近实际大小， 这就能够使大缺陷的检测效果提 高； 基于金属表面缺陷数据集确定训练样本图片 和检验样 本图片， 并将所述训练样 本图片输入至 所述目标YOLOv3网络模型； 基于Darknet ‑53特征 网络来对所述训练样本图片进行特征提取； 基于 提取出来的特征信息对金属表面缺陷进行椭圆 检测， 相比于矩形框对缺陷区域贴合度更高； 利 用预先设置的损失函数引导所述优化了的目标 YOLOv3网络模型进行训练， 并通过检验样本图片 进行模型检验， 直到输出最优YOLOv3网络模型， 使得网络结构在很深的情况下仍能收敛， 提高了 模型的精确度。 权利要求书2页 说明书7页 附图4页 CN 114581426 A 2022.06.03 CN 114581426 A 1.一种基于 机器视觉的工件表面 缺陷检测方法， 其特 征在于， 包括： 在YOLOv3网络模型的初始损失函数中新增gi ou损失项得到目标YOLOv3网络模型； 基于金属表面缺陷数据集确定训练样本图片和检验样本图片， 并将所述训练样本图片 输入至所述目标YOLOv3网络模型； 基于Dark net‑53特征网络对所述训练样本图片进行 特征提取； 基于提取 出来的特 征信息对金属表面 缺陷进行椭圆检测； 利用预先设置的损失函数引导所述目标YOLOv3网络模型进行训练， 并通过检验样本图 片进行模型检验， 直到 输出最优YOLOv3网络模型。 2.根据权利要求1所述的工件表面缺陷检测方法， 其特征在于， 所述基于金属 表面缺陷 数据集确定训练样本图片和检验样本图片， 具体包括： 根据数据集中的每一类确定第 一预设数量的图片作为训练样本图片， 第 二预设数量的 图片作为检验样本图片。 3.根据权利要求1所述的工件表面 缺陷检测方法， 其特 征在于， 所述YOLOv3网络模型的初始函数为： totalloss＝lossx+lossy+lossw+lossh+lossconf+losscls； 所述新增的gi ou损失项为： gi oueta＝mean( λ*gi ouloss) 其中， giouloss的系数 λ， 用于调整预测目标的大小 而对预测结果产生的影响。 4.根据权利要求3所述的工件表面 缺陷检测方法， 其特 征在于， 所述giouloss的系数 λ 的计算公式为： 其中， Areapre为预测框的面积， A reatrue为真实框的面积， 通过 预测框和总面积的比值； 所述Areapre的计算过程 为： 其中， preh为预测框的长轴， prew为预测框的短轴； 所述Areatrue的计算过程 为： 5.根据权利 要求1所述的工件表面缺陷检测方法， 其特征在于， 所述在YOLOv3网络模型 的初始损失函数中新增gi ou损失项得到目标YOLOv3网络模型， 具体包括： 通过椭圆检测方法以修改所述YOLOv3网络模型的架构， 以预测旋转椭圆的中心点， 长 短半轴和旋转角度； 修改loss函数以增 加角度回归。 6.根据权利要求5所述的工件表面缺陷检测方法， 其特征在于， 通过椭圆检测方法以修 改所述YOLOv3网络模型的架构， 以预测旋转椭圆的中心点， 长短半轴和旋转角度， 修改loss 函数以增 加角度回归， 具体包括： 将椭圆检测方法后损失函数设置为：权　利　要　求　书 1/2 页 2 CN 114581426 A 2totalloss＝lossx+lossy+lossw+lossh+lossconf+losscls+gioumean+lossangle 其中， 所述 lossangle代表增加角度的损失； 所述lossangle的计算过程 为： lossangle＝(anglesin‑tanglesin)2 其中， anglesin中保存了当前角度的正弦值sin(angle)和当前角度的两倍的正弦值sin (2×angle)， tanglesin中保存了 数据集标签中的旋转角度的正弦值sin(angle)和旋转角度 的两倍的正弦值si n(2×angle)。 7.根据权利 要求5所述的工件表面缺陷检测方法， 其特征在于， 所述在YOLOv3网络模型 的初始损失函数中新增gi ou损失项得到目标YOLOv3网络模型， 还 包括： 通过解耦的探测头将分类预测 和回归预测进行解耦； 在回归预测中再次解耦椭圆的中心点， 长短 半轴和旋转角度之间的耦合。 8.根据权利要求1所述的工件表面缺陷检测方法， 其特征在于， 所述基于Darknet ‑53特 征网络对所述训练样本图片进行 特征提取， 具体包括： 在Darknet ‑53特征网络中采用残差网络的跳层连接方式对输入 的所述训练样本图片 进行特征提取； 通过上采样和特征串联操作， 分别输入深层、 中层以及浅层三个大小不同的特征图， 并 将所述深层和浅层的特 征图进行 特征融合。 9.根据权利要求1所述的工件表面缺陷检测方法， 其特征在于， 基于提取出来的特征信 息对金属表面 缺陷进行椭圆检测， 具体包括： 针对所述椭圆的中心点位置， 基于为与预测目标的网格单元左上角相关的偏移tx、 ty进 行预测： bx＝σ(tx)+cx by＝σ(ty)+cy 针对所述椭圆的宽和高， 基于先验框的宽tw和高th和进行预测： 针对所述椭圆测角度， 基于网络 输出tangel进行预测： angel＝Π*sigmo id(tangle)。 10.一种基于机器视觉的工件表面缺陷检测装置， 其特征在于， 包括计算机可读指令， 当所述计算机可读指 令在计算机上运行时， 使得所述计算机执行如权利要求 1至9中任一项 所述的方法。权　利　要　求　书 2/2 页 3 CN 114581426 A 3