(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210689847.X (22)申请日 2022.06.17 (71)申请人 西安交通大 学 地址 710049 陕西省西安市咸宁西路28号 (72)发明人 王硕　邵涛　武通海　王青华　 (74)专利代理 机构 西安通大专利代理有限责任 公司 6120 0 专利代理师 高博 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多注意力机制的磨损表面损伤深度估 计方法及系统 (57)摘要 本发明公开了一种基于多注意力机制的磨 损表面损伤深度估计方法及系统， 以ResNet ‑50 编码层中的四层卷积块为主干， 结合两层Conv ‑ ReLU的卷积块构建磨损表面基础特征提取层； 将 损伤区域分割分支网络及深度信息估计分支网 络融合作为磨损表面深度估计模 型； 通过加权方 式得到磨损表 面深度估计模型的损失函数； 选择 具有典型损伤区域的磨损表面图像作为训练样 本， 以损失函数作为优化目标， 采用适应性矩估 计法训练磨损表面深度估计模型， 将单张磨损表 面图像输入磨损表面深度估计模 型， 得到磨损表 面的损伤区域分割结果图及深度信息结果图。 本 发明有效实现从单张磨损表面图像估计三维深 度信息， 解决磨损表面分析技术领域中深度信息 获取难度大， 效率低， 复杂度高的问题。 权利要求书3页 说明书12页 附图4页 CN 114972882 A 2022.08.30 CN 114972882 A 1.基于多注意力机制的磨损表面损伤深度估计方法， 其特 征在于， 包括以下步骤： S1、 以ResNet ‑50编码层中的四层卷积块为主干， 结合两层Conv ‑ReLU的卷积块构建磨 损表面基础特 征提取层； S2、 结合U ‑Net结构架构和 磨损表面特性， 基于步骤S1构建的磨损表面基础特征提取层 构建损伤区域分割分支网络及深度信息估计分支网络， 将损伤区域分割分支网络及深度信 息估计分支网络融合作为磨损表面深度估计模型； S3、 基于损伤区域分割网络及深度信息估计网络构建深度信息均方误差损失、 损伤检 测交叉熵损失、 边缘检测均方误差损失以及结构一致性损失函数， 并通过加权方式得到步 骤S2构建的磨损表面深度估计模型的损失函数； S4、 获取二维磨损表面图像， 制作对应的损伤区域标记图及深度图； 选择具有典型损伤 区域的磨损表面图像作为训练样本， 以步骤S3构建的损失函数作为优化 目标， 采用适应性 矩估计法训练步骤S2构建的磨损表 面深度估计模 型， 以单张磨损表面图像作为训练好的磨 损表面深度估计模型的输入， 得到磨损表面的损伤区域分割结果图及深度信息结果图。 2.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 步骤S1具体为： S101、 构建两个标准结构为Conv ‑ReLU的卷积块， 实现对磨损表面图像的初级特征提 取； S102、 提取ResNet ‑50特征提取网络中 的Res1、 Res2、 Res3及Res4共4层卷积块作为磨损 表面的高级语义特征提取块， 结合步骤S101中两个Conv ‑ReLU卷积块建立基础特征提取网 络， 实现磨损表面图像的基础特 征提取。 3.根据权利要求2所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 步骤S101中， 构建两个标准结构为Co nv‑ReLU的卷积块具体为： 第一个卷积块和第二个卷积块采用结构为Conv ‑ReLU的卷积块做初步的图像特征提 取， 每个卷积块包含两层卷积操作； 第一个卷积块每层采用3个3 ×3大小的卷积核及步长 stride＝1进行卷积操作， 接着采用ReLU激活函数进行特征非线性化映射， 得到F0特征图； 第二个卷积块每层采用64个3 ×3大小的卷积核及步长分别为stride＝2、 stride＝1进行卷 积操作， 接着采用ReLU激活函数进 行特征非线性化映射， 得到F1特征图， 最终输出64通道的 特征图给后续四个卷积块。 4.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 步骤S2中， 采用结构为Conv ‑BN‑ReLU及Convtransp ‑BN‑ReLU的卷积块建立损伤区域分 割分支网络， 提取与二维磨损表面大小相对应的损伤区域分割结果图； 基于U ‑Net网络架构 建立深度信息估计分支网络， 估计损伤区域的深度信息 。 5.根据权利要求4所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 建立损伤区域分割分支网络具体为： 由结构为Conv ‑BN‑ReLU及Convtransp ‑BN‑ReLU的卷积层串联； 对于第一个结构Conv ‑ BN‑ReLU， 先通过3 ×3大小的卷积核及步长stri de＝1进行卷积操作， 接着采用BN批归一化 操作， 对特征进行归一化处理， 加速网络收敛， 最后采用ReLU激活函数进 行特征非线性化映 射， 得到抑制噪声后的特征图； 对于第二个结构Convtransp ‑BN‑ReLU， 其与结构Conv ‑BN‑ ReLU的差异在于采用了3 ×3大小的Convtransp反卷积操作， 且步长stride＝2， 最终实现将权　利　要　求　书 1/3 页 2 CN 114972882 A 2输入的特征图放大2 倍； 再将特征图与来自基础特征提取层的特征图进 行级联； 最后采用结 构为Conv‑ReLU的卷积块实现将32个通道的P0特 征图映射至 3维通道的损伤区域分割图。 6.根据权利要求4所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 基于U ‑Net网络架构建立深度信息估计分支网络具体为： 采用结构为Conv ‑BN‑ReLU及Convtransp ‑BN‑ReLU的卷积块作为上采样操作； 将输入的 特征图扩大两倍后作为坐标注意力模块的输入； 将经过放大后的特征图嵌入坐标注意力模 块， 获取包含位置坐标信息的特征图像， 并与高效金字塔模块提取的特征图进 行级联组合； 将编码层的特征图经高效金字塔分割注意力模块提取具有局部损伤区域信息的特征图像， 并与坐标注意力模块提取 的特征融合级联， 得到具有位置信息、 空间信息及通道信息的磨 损表面特 征图。 7.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 步骤S3具体为： S301、 构建损伤区域权 重自适应分配的深度估计损失函数 S302、 针对损伤区域边 缘深度变化大导 致的预测边缘模糊的难题， 为 提高损伤区域 边缘 深度值估计精度， 采用二维Haar小波三层变换构建边缘检测损失函数 S303、 将磨损表面区域分为背景、 划痕、 凹坑三类， 并选择三分类交叉熵函数作为损伤 区域分割网络分支的损失函数 S304、 采用结构一致性损失函数 提高预测深度图与 激光共聚焦显微镜测 量结果的相似度； S305、 以步骤S301得到的深度信息均方误差损失、 步骤S302得到的边缘检测损失函数、 步骤S303得到的损伤区域分割网络分支的损失函数以及步骤S304得到的结构一致性损失 函数为基础， 通过加权求和方式获得磨损表面深度估计模型的损失函数。 8.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 磨损表面深度估计模型的损失函数 为： 其中， y代表磨损表面估计深度图， 代表激光共聚焦显微镜所测深度图， p为所预测的 像素点类别， 为实际像素点类别， λ为控制深度图边 缘损失函数的权 重系数。 9.根据权利要求1所述的基于多注意力机制的磨损表面损伤深度估计方法， 其特征在 于， 步骤S4具体为： S401、 获取具有损伤区域的二维磨损表面图， 并获取对应区域的深度图以及对应损伤 区域标记图， 制作训练样本和 测试样本； S402、 使用在ImageNet数据集上训练的ResNet ‑50网络权重作为编码器初始化权重参 数， 并采用步骤S401制作的训练样本训练磨损表面深度估计模型； S403、 设置学习率参数， 采用适应性矩估计法优化训练步骤S402的磨损表面深度估计 模型， 将步骤S401制作的测试样本输入优化训练后的磨损表面深度估计模型， 实现基于多权　利　要　求　书 2/3 页 3 CN 114972882 A 3