(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210997371.6 (22)申请日 2022.08.19 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市河北 大街西 段438号 (72)发明人 侯雨雷　韩延伟　李强　范德斌　 邓云蛟　李岳　梁顺攀　 (74)专利代理 机构 北京孚睿湾知识产权代理事 务所(普通 合伙) 11474 专利代理师 王冬杰 (51)Int.Cl. G06T 19/00(2011.01) G06T 19/20(2011.01) G06T 5/00(2006.01) G06T 7/73(2017.01) (54)发明名称 基于3D视觉的用于确定线材捆线位置的挂 牌方法及其装置 (57)摘要 本发明提供一种基于3D视觉的用于确定线 材捆线位置的挂牌方法及其装置， 具体步骤为： 启动线激光轮廓仪对线材进行单条轮廓扫描， 获 取二维点云数据， 进而获得线材内的捆线位置； 根据线材内的捆线位置调整机器人末端姿态， 直 到捆线位置落在线激光轮廓仪x轴的原点O1处； 采集线材的三维点云数据， 并通过滤波去噪得到 线材新三维点云数据； 利用最小二乘法对线材新 三维点云数据中空洞点集进行拟合填充， 得到线 材填充后的三维点云数据； 计算线材填充后的三 维点云数据的差值， 并与捆线间隙阈值比较， 得 到挂牌点； 利用目标检测算法判断挂牌点是否准 确。 本发明基于三维视觉点云， 针对线材进行算 法处理， 从而具有挂牌定位准确率高、 识别精度 高和稳定性 好等优点。 权利要求书3页 说明书11页 附图6页 CN 115393553 A 2022.11.25 CN 115393553 A 1.一种基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在于， 具体实施步骤 如下： S1、 确定线材 上捆线的位置； S2、 调整机器人末端： 根据线材内的捆线位置K1调整机器人末端的姿态， 直到捆线位置 K1和线激光轮廓仪x轴的原点O1重合； S3、 对线材三维点云数据P滤波： 通过平行移动线激光轮廓仪， 采集线材整体的三维点 云数据P， 并通过 滤波去噪得到线材整体的新 三维点云数据P1； S4、 对线材整体的新 三维点云数据P1进行填充： S41、 根据线材的几何特性， 构建替换线材整体的新三维点云数据P1中空洞点集C1的最 小二乘法模型； 基于上述最小二乘法模型， 将点云真实值与点云预测值之间的距离平方表述为S， 具体 表达式如下： 其中zi为第i个线材点云数据的真实高度值， 为第i个线材点云数据的预测高度值， n 表示从i＝1开始， 一共有n条 数据。 S42、 查找线材整体的新三维点云数据P1的空洞点(xi,yi,nan)， 以该空洞点为基准， 获 取空洞点所在列的前3个点和后3个点， 并将6个点代入步骤S41的公式， 求得空洞点(xi,yi, nan)中z的值进行填充； S43、 重复步骤S42， 对线材整体的新三维点云数据P1的空洞点(xi,yi,nan)依次进行填 充， 得到线材填充后的三维点云数据P2； S5、 确定挂 牌点： S51、 根据线材和捆线的几何特征， 对线材填充后的三维点云数据P2中每一列相邻的两 个数据的zi值进行差值dif fi； S52、 根据捆线直径d， 设置捆线间隙阈值T＝ d， 并分别设置差值diffi的最大值Max和捆 线位置的最大值MaxL ocation； S53、 判断差值diffi和捆线位置的关系， 直到对线材填充后的三维点云数据P2中每一列 的数据都计算完毕： 若差值diffi≥T时， 则进一步判断差值diffi和最大值Max的关系， 若差 值diffi＞Max时， 则将差值diffi的位置i赋值给MaxLocation， 差值diffi赋值给Max； 若差值 diffi<Max时， 则进行 下一次比较； 若差值dif fi＜T时， 则直接忽略不计； S54、 根据S53得到的最大值位置MaxLocation， 在线材填充后的三维点云数据P2中定位 挂牌点target； S6、 识别判断挂牌点： 对挂牌点target进行拍照， 并利用目标检测算法判断挂牌点 target是否准确。 2.根据权利要求1所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 所述步骤S1的具体过程包括： S11、 启动线激光轮廓仪对线材进行 单条轮廓扫描， 获得线材二维点云数据Pt； S12、 将二维点云数据Pt中超出激光轮廓仪zi的值设为噪点， 用noisep表示， 并利用zp将权　利　要　求　书 1/3 页 2 CN 115393553 A 2噪点剔除， 所述zp的表达式如下： 其中， zi‑1为第i‑1个线材数据的真实高度值， zi+1为第i+1个线材 数据的真实高度值； S13、 对剔除噪点的二维点云数据Pt求均值， 并利用峰值规则获得线材内的捆线位置K1 (xpk,zpk)， 所述峰值 规则的表达式如下： (xpk,zpk)＝{zi|zi＞zi+1&zi＞zi‑1&zi＞zmean} 其中， zi为第i个线材 数据的真实高度值， zmean为所有线材z方向高度值的平均值。 3.根据权利要求1所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 所述步骤S2的具体过程包括： S21、 根据二维点云数据Pt中数据点的总数n， 求得 单条轮廓点云的中心点O(xo,zo)； S22、 根据捆线位置K1(xpk,zpk)， 分别求得中心点O与捆线位置K1在x方向的差值CK1以及 线激光轮廓仪与捆线位置K1(xpk,zpk)的距离CD， 并根据三角几何关系， 获得捆线位置K1与中 心点O之间的角度 θ， 即机器人末端的调整角度 θ， 具体表达式如下： 4.根据权利要求3所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 在步骤S21中， 单条轮廓点云的中心点O(xo,zo)在x方向的值为 在z方向的值为 5.根据权利要求1所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 所述步骤S3的具体过程包括： S31、 启动机器人， 使其带动线激光轮廓仪对线材进行扫描， 采集线材三维点云数据P； S32、 设定线材三维点云数据P在z方向的取值范围， 根据取值范围对三维点云数据P进 行滤波， 并利用特殊 值nan进行填充替换， 得到线材新 三维点云数据P1。 6.根据权利要求1所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 在步骤S52中， 差值diffi的最大值Max的初值为0， 捆线位置的最大值MaxLocation的初 值为‑1。 7.根据权利要求1所述的基于3D视觉的用于确定线材捆线位置的挂牌方法， 其特征在 于， 所述步骤S6的具体过程包括： S61、 利用对挂牌点target拍照得到的图像， 对目标检测算法进行预训练， 得到权重文 件； S62、 利用预训 练得到的预测模型对挂牌点target的位置进行标牌检测， 判断挂牌点 target是否准确： 若检测到挂牌点target不准确， 则机器人重新进行挂牌； 若检测到挂牌点target准确， 则机器人返回作业 准备区域。 8.一种根据权利要求1 ‑7之一所述的基于3D视觉的用于确定线材捆线位置的挂牌方法 的挂牌装置， 其特征在于， 其包括地轨、 上位机、 制钩机、 标牌打印机、 机器人、 线激光轮廓 仪、 气动卡爪、 光源和2D相机， 所述机器人的固定端和所述地轨的滑动端滑动连接， 所述机权　利　要　求　书 2/3 页 3 CN 115393553 A 3