(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211063165.4 (22)申请日 2022.08.31 (65)同一申请的已公布的文献号 申请公布号 CN 115139307 A (43)申请公布日 2022.10.04 (73)专利权人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 陶永　高赫　温宇方　黄石书　 段练　刘海涛　兰江波　韩栋明　 (74)专利代理 机构 北京中秩新创知识产权代理 有限公司 16124 专利代理师 张涛　褚战星 (51)Int.Cl. B25J 9/16(2006.01) G06V 20/10(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 5/00(2006.01) G06T 7/246(2017.01) G06T 7/73(2017.01) G06V 10/26(2022.01) G06V 10/28(2022.01) G06V 10/30(2022.01) G06V 10/32(2022.01) G06V 10/82(2022.01) (56)对比文件 US 1078340 6 B1,2020.09.2 2 US 201613 3008 A1,2016.0 5.12 US 2021340857 A1,2021.1 1.04 US 2017343481 A1,2017.1 1.30 US 201613 3007 A1,2016.0 5.12 CN 109697 717 A,2019.04.3 0 审查员 张博 (54)发明名称 一种磁吸附机器人裂缝定位及跟踪 方法、 系 统及存储介质 (57)摘要 本发明提供一种磁吸附机器人裂缝定位及 跟踪方法、 系统及存储介质， 包括机器人采集裂 缝图像； 将图像输入至经过训练的裂缝分析定位 网络， 获取分析定位的裂缝二值图像； 基于裂缝 二值图像采用准均匀B样条曲线的裂缝修复路径 预提取方法进行路径预提取； 根据预提取的路 径， 基于混合运动模型和模型预测控制的裂缝跟 踪算法进行路径跟踪。 本发明解决了机器人仅沿 着规划路径机器人难以对准裂缝， 严重影 响修复 工作的进行的问题。 本发明提高了对表面裂缝区 域进行分析定位准确度， 在保留裂缝延伸趋势的 同时消除了局部干扰特征， 保证了机器人的平稳 运行并提高对裂缝进行跟踪精度， 克服驱动系统 与结构表 面存在打滑影 响跟踪精度的问题， 保证 了裂缝修复工作的顺利进行。 权利要求书2页 说明书11页 附图6页 CN 115139307 B 2022.11.25 CN 115139307 B 1.一种磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 包括以下步骤： S1： 磁吸附机器人采集裂缝图像； S2： 将所述S1的裂缝图像输入至经过训练的裂缝分析定位网络， 获取分析定位的第一 裂缝二值图像， 所述裂缝分析定位网络具体包括： 基于全卷积神经网络， 引入基于LCFI  的 浅层信息补充模块； S3： 基于所述S2中获取的第一裂缝二值图像， 采用准均匀B样条曲线的方法进行路径预 提取； S4： 根据所述S3中的预提取的路径， 基于混合运动模型和模型预测控制的裂缝跟踪算 法进行路径 跟踪。 2.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 所述LCFI具体内容为： LCFI模块由四个LCFI卷积块组成， 该模块具有相反卷积顺序的 两个并行的空间可分离卷积， 将经过LCFI处理后的输出图像与当前层次深度卷积模块输出 进行堆叠操作， 然后再进行反卷积， 形成侧输出。 3.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 所述S2中所述经 过训练的裂缝分析定位网络， 其中训练方式包括： S2.1： 获取训练集图像； S2.2： 对所述S2.1中的所述训练集图像中各裂缝进行 标定， 得到标定后的训练集图像； S2.3： 将所述S2.1中的所述训练集图像输入构建的第一初始裂缝分析定位网络中， 进 行分析定位， 并生成对应的分析定位结果； S2.4： 根据所述S2.3中的所述分析定位结果以及所述S2.2中所述标定后的训练集图 像， 基于预设的损失函数， 计算所述第一初始裂缝分析定位网络的模型损失； S2.5： 基于所述S2.4中的所述模型损失， 对所述第一初始裂缝分析定位网络进行模型 参数的调整， 得到调整后的第二初始裂缝分析定位网络； S2.6： 基于预设的训练参数， 对模型参数调整后的所述第二初始裂缝分析定位网络进 行迭代训练， 得到训练后的裂缝分析定位网络 。 4.根据权利要求3所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 所述S2.4中所述的损失函数采用侧输出损失和最终融合预测损失两大函数。 5.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 所述S3中所述 准均匀B样条曲线的路径预提取 方法具体内容： S3.1： 对所述S2中获取的所述第一裂缝二值 图像进行滤波处理， 获取第二裂缝二值 图 像； S3.2： 求取 所述S3.1中所述第二裂缝二 值图像中裂缝的中点 坐标； S3.3： 根据所述S3.2中所述裂缝的中点 坐标求取路径控制点； S3.4： 根据准均匀B样条曲线 使用所述S3.3中所述路径控制点 求解路径曲线。 6.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于： 所述S4中所述混合运动模型具体包括： 首先将磁吸附机器人结构简化为差速运动学模 型， 其次在原始运动学模型中加入纵向滑动和侧向滑动的修正项， 最后得到所述混合运动 模型。 7.根据权利要求1所述的磁吸附机器人裂缝定位及跟踪方法， 其特 征在于：权　利　要　求　书 1/2 页 2 CN 115139307 B 2所述S4中所述模型 预测控制的裂缝跟踪算法具体包括： S4.1： 建立误差动态模型， 建立连续状态方程， 再采用前向欧拉公式得到离散状态方 程； S4.2： 基于所述S4.1中所述离散状态方程， 构 建新状态向量和输出方程， 进而获得未来 时刻输出 方程； S4.3： 设计模型预测控制的优化目标函数,将所述优化目标函数转化为二次型规划问 题。 8.一种磁吸附机器人裂缝定位及跟踪系统， 其特 征在于， 包括： 裂缝图像采集模块， 被 配置为采集裂缝图像； 裂缝图像分析定位模块， 被配置为将裂缝图像输入至经过训练的裂缝分析定位网络， 获取分析定位的第一裂缝二值图像， 所述裂缝分析定位网络具体包括： 基于全卷积神经网 络， 引入基于LCFI  的浅层信息补充模块； 路径预提取模块， 被配置为将第 一裂缝二值图像， 采用准均匀B样条曲线的方法进行路 径预提取； 路径跟踪模块， 被配置为根据预提取的路径， 基于混合运动模型和模型预测控制的裂 缝跟踪算法进行路径 跟踪。 9.一种存储介质， 其特征在于： 所述存储介质用于存储计算机程序， 当所述计算机程序 在计算机上运行时， 使得计算机执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115139307 B 3