(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211088253.X (22)申请日 2022.09.07 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 刘华平　张静宇　续欣莹　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 王萌 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种可持续学习的多种工业缺陷分类方法 及装置 (57)摘要 本发明提出一种可持续学习的多种工业缺 陷分类方法及装置， 属于缺陷分类技术领域和持 续学习技术领域。 其中， 所述方法包括： 任意采集 一张待分类产品图像， 对所述图像标注对应的分 类任务序号； 将所述图像和所述 分类任务序号输 入预设的多任务缺陷分类网络， 所述多任务缺陷 分类网络输出在所述分类任务下所述图像是否 属于缺陷图像的分类结果。 本发 明能够实现工业 场景中多类缺陷的持续有效分类， 适用于复杂的 缺陷分类任务， 显著提升缺陷分类的效率。 权利要求书2页 说明书10页 附图1页 CN 115393648 A 2022.11.25 CN 115393648 A 1.一种可持续学习的多种工业 缺陷分类方法， 其特 征在于， 包括： 任意采集 一张待分类产品图像， 对所述图像标注对应的分类任务序号； 将所述图像和所述分类任务序号输入预设的多任务缺陷分类网络， 所述多任务缺陷分 类网络输出在所述分类任务下 所述图像是否属于缺陷图像的分类结果。 2.根据权利要求1所述方法， 其特征在于， 在所述将所述图像和所述分类任务序号输入 预设的多任务 缺陷分类网络之前， 还 包括： 训练所述多任务 缺陷分类网络； 所述训练所述多任务 缺陷分类网络， 包括： 1)获取不同类别的产品的正常图像和缺陷图像， 所述正常图像和所述缺陷图像与所述 待分类产品图像的尺寸 一致； 2)将每个类别下的所述正常图像和所述缺陷 图像组成一个任务数据集， 对所述任务数 据集标注对应的分类任务序号； 3)构建多任务 缺陷分类网络： 4)对所有任务数据集进行随机排序， 按照所述排序利用每个任务数据集依次对所述多 任务缺陷分类网络进行训练， 得到训练完毕的多任务 缺陷分类网络 。 3.根据权利要求2所述方法， 其特 征在于， 所述方法还 包括： 对任一任务数据集中缺陷图像通过数据增强技术进行扩充， 使得所述缺陷图像的数量 与所述任务数据集中正常图像的数量的比例接 近1:1。 4.根据权利要求2所述方法， 其特征在于， 所述多任务缺陷分类网络的主干网络为 resnet18网络， 在 主干网络的卷积层、 每个卷积组、 卷积组中每个卷积层以及平均池化层之 后分别增 加一个特 征编码层FEL。 5.根据权利要求4所述方法， 其特征在于， 所述特征编码层用于根据所述分类任务序号 生成对应的排列 矩阵， 根据所述排列 矩阵对任务数据集经过所述多任务缺陷分类网络时生 成的特征图进行重新 排列； 其中， 对于分类任务序号 为k的任务数据集， 第m个特 征编码层生成的排列矩阵为： Sm(k)： ＝random  permutati on of Im with seed(k) 式中， m＝1,2, …,M， M为多任务缺陷分类网络中特征编码层的总数； 第m个特征编码层 的原始矩阵Im为一个单位矩阵， 其行列数等于特征图矩阵最后一维的大小； seed(k)表示由 分类任务序号 k作为种子生成的排列顺序。 6.根据权利要求5所述方法， 其特征在于， 所述多任务缺陷分类网络在训练时的经验损 失函数为： 式中， 将K个排序后的任 务数据集记为顺序到达的监督学习任 务{Tk|k∈{1,2,3, …K}}， Tk表示排序后的第k个任务 数据集， K为任务 数据集的总数； 记任务 数据集Tk中的图像数量为 nk， xk,i表示排序后的第k个任务数据集中的第i张图像， yk,i表示图像xk,i对应的类别标签， 即属于缺陷图像或正常图像； Lk( θ )为排序后的第k个任务数据集训练时的经验损失函数， θ 为多任务缺 陷分类网络的参数， θ＝{θ1, θ2, θ3,……θL}， 其中， θi为多任务缺陷分类 网络第i权　利　要　求　书 1/2 页 2 CN 115393648 A 2层的参数， i＝1,2, …,L， L为多任务缺陷分类网络的总层数， 图像xk,i的损失函数表 示为l(f ( θ； k,xk,i),yk,i)。 7.根据权利要求6所述方法， 其特征在于， 所述多任务缺陷分类网络在训练时， 通过修 改梯度对所述多任务 缺陷分类网络的参数进行 更新， 方法如下： 在排序后的第 k个任务数据集进行训练时， 所述多任务缺陷分类网络第 l层的原始梯度 gl计算表达式如下： 利用正定对称矩阵P对原始梯度gl进行修改， 其中第l层的正定对称矩阵P记为Pl， 表达 式如下： 其中， Hj,l是第j个任务数据集训练时第l层的海 森矩阵； 则修改后的第l层的梯度 为： 根据下式更新第l层的参数θl： 其中， η是网络训练时的学习率； Pl的初始值设为单位矩阵Il； 在每一个任务数据集训练结束后， Pl按照下式进行 更新： 其中， 是矩阵求逆引理的中间变量： 8.一种可持续学习的多种工业 缺陷分类装置， 其特 征在于， 包括： 图像采集模块， 用于任意采集一张待分类产品图像， 对所述图像标注对应的分类任务 序号； 缺陷分类模块， 用于将所述图像和所述分类任务序号输入预设的多任务缺陷分类网 络， 所述多任务缺陷分类网络输出在所述分类任务下所述图像是否属于缺陷图像的分类结 果。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所述指令被设置为用 于执行上述权利要求1 ‑7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储计算机指 令， 所述计算机指令用于使所述计算机执 行权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115393648 A 3