(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210216964.4 (22)申请日 2022.03.06 (71)申请人 宁波九纵智能科技有限公司 地址 315300 浙江省宁波市慈溪市白沙路 街道三北 大街2588号B幢8楼80 3室 (72)发明人 王孟哲　梁正南　赖勉力　李恩全　 (74)专利代理 机构 合肥初航知识产权代理事务 所(普通合伙) 34171 专利代理师 金娟娟 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度残差网络与多通道图像融合的表 面缺陷分类方法 (57)摘要 本发明涉及工业产品表面缺陷检测识别技 术领域， 具体地说， 涉及一种基于深度残差网络 与多通道图像融合的表面缺陷分类方法。 其包括 如下步骤： 步骤S1、 构建深度残差网络； 步骤S2、 对深度残差网络进行训练； 步骤S3、 构建待分类 产品的多通道图像序列； 步骤S4、 采用预处理模 块对多通道图像序列进行自归一化； 步骤S5、 通 过步骤S2训练完成的深度残差网络对经步骤S4 处理后的多通道图像序列进行处理， 获取表面缺 陷类别。 本发 明能够较佳地适用于对不同产品和 表面缺陷检测的快速移植。 权利要求书2页 说明书7页 附图2页 CN 114612415 A 2022.06.10 CN 114612415 A 1.基于深度残差网络与多通道图像融合的表面 缺陷分类方法， 其包括如下步骤： 步骤S1、 构建深度残差网络； 步骤S2、 对深度残差网络进行训练； 步骤S3、 构建待分类产品的多通道图像序列； 步骤S4、 采用预处 理模块对多通道图像序列进行自归一 化； 步骤S5、 通过步骤S2训练完成的深度残差网络对经步骤S4处理后的多通道图像序列进 行处理， 获取表面 缺陷类别。 2.根据权利要求1所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 步骤S1中， 所建立的深度残差网络为ResNet ‑18的网络模型； 深度残差网络包括依次连接的首层卷积层、 第 一残差区块、 第二残差区块、 第 三残差区 块、 第四残差区块和全连接层； 首层卷积层的卷积核数为64、 卷积核宽为7、 卷积核高为7、 步长为2、 填充为1， 激活函数 为LeakyRelu函数； 第一残差区块具有2个卷积层， 每个卷积层的卷积核数为64、 卷积核宽为3、 卷积核高为 3、 步长为2、 填充为1， 激活函数为 LeakyRelu函数； 第二残差区块具有2个卷积层， 每个卷积层的卷积核数为128、 卷积核宽为3、 卷积核高 为3、 步长为2、 填充为1， 激活函数为 LeakyRelu函数； 第三残差区块具有2个卷积层， 每个卷积层的卷积核数为256、 卷积核宽为3、 卷积核高 为3、 步长为2、 填充为1， 激活函数为 LeakyRelu函数； 第四残差区块具有2个卷积层， 每个卷积层的卷积核数为512、 卷积核宽为3、 卷积核高 为3、 步长为2、 填充为1， 激活函数为 LeakyRelu函数； 全连接层具有720个卷积核。 3.根据权利要求2所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 步骤S2包括如下步骤， 步骤S21、 构建样本集； 步骤S22、 将样本集分别为训练集和 测试集； 步骤S23、 采用训练集对深度残差网络进行训练， 采用测试集对深度残差网络进行测 试， 直至深度残差网络收敛。 4.根据权利要求3所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 步骤S21包括如下步骤， 步骤S21a、 保持拍摄角度不变， 采集不同光照角度下的产品表面图像P， P＝{Puv|u∈N+， v∈N+}； Puv表示在第u个产品在第v种光照角度下的表面图像； 步骤S21b、 对产品表面图像P进行切分， 获取单颗产品在不同光照角度下的单颗产品表 面图像I， I＝{Iuwv|u∈N+， v∈N+， w∈N+}； Iuwv表示第u个产品中的第w个单颗产品在第v种光 照角度下的表面图像， 进 而构建单颗产品的多通道图像序列Iuw， Iuw＝{Iuwv|v∈N+}； 步骤S21c、 获取每个 单颗产品的缺陷类 型mr， 之后构建初步样本集Q， Q＝{Quw|u∈N+， w∈ N+}； 其中， Quw＝(mr， Iuw)， mr表示第r种缺陷类型， r∈N； 且r＝0时， m0＝0， 表示缺陷类型为无 缺陷； 步骤S21d、 采用预处 理模块对初步初步样本集 Q进行自归一 化处理， 获取样本集 Q*。权　利　要　求　书 1/2 页 2 CN 114612415 A 25.根据权利要求4所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 步骤S21d中， 其中， 表示经自归一化 处理后的表面图像Iuwv的第i行、 第j列的像素值， Iuwv (i， j)表示表面图像 Iuwv的第i行、 第j列的像素值， μv表示表面图像 Iuwv的像素值的均值， σv表 示表面图像Iuwv的像素值的标准差， kv表示表面图像Iuwv的特征显著性系数。 6.根据权利要求5所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 其中， Idv表示表面图像Iuwv的特征区域的平均灰度值。 7.根据权利要求6所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 步骤S23中， 基于损失函数或检测精度完成深度残差网络的迭代收敛。 8.根据权利要求7所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 基于损失函数进行深度残差网络的迭代收敛时， 设置迭代的停止条件为当次 迭代完成时的损失值与前次迭代完成时的损失值的变化低于设定阈值。 9.根据权利要求7所述的基于深度残差网络与多通道图像融合的表面缺陷分类方法， 其特征在于： 基于检测精度进行深度残差网络的迭代收敛时， 设置迭代的停止条件为当次 迭代完成时的检测精度与前次迭代完成时的检测精度的变化低于设定阈值。权　利　要　求　书 2/2 页 3 CN 114612415 A 3