(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210945767.6 (22)申请日 2022.08.08 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 申请人 山东省工业 技术研究院 (72)发明人 宋锐　靖常宇　李凤鸣　付天宇　 王艳红　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 李琳 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/33(2017.01) G06T 7/73(2017.01) (54)发明名称 基于tph-yolov5深度学习的FPC-BTB接口检 测定位方法及系统 (57)摘要 本发明属于装配控制技术领域， 提供了基于 tph‑yolov5深度学习的FPC ‑BTB接口检测定位方 法及系统， 该方法包括基于含FPC ‑BTB的手机背 板图像和训练后的tph ‑yolov5模型检测得到BTB 插孔的中心像素点坐标； 其中， 所述tph ‑yolov5 模型的构建过程包括： 在 原有yolov5三个 预测头 的基础上加入了变压器预测头， 该预测头由低电 平和高分辨率的特征图生 成， 同时用卷积注意模 块和变压器编码器替代原始yolov5框架中的部 分卷积块和CSP瓶颈块； 将BTB插孔的中心 像素点 坐标进行坐标系转化得到目标区域机械臂基坐 标系下的坐标； 根据目标区域机械臂 基坐标系下 的坐标控制机械臂末端到达该点执行相应的移 动装配操作， 弥补了BTB接口检测和FPC自动装配 方面的空白。 权利要求书2页 说明书6页 附图3页 CN 115294065 A 2022.11.04 CN 115294065 A 1.基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位方法， 其特征在于， 包括如下步 骤： 获取含FPC ‑BTB的手机背板图像； 基于含FPC ‑BTB的手机背板图像和训练后的tph ‑yolov5模型检测得到BTB插孔的中心 像素点坐标； 其中， 所述tph ‑yolov5模型的构建过程包括： 在原有yolov5三个预测头的基础上加入 了变压器预测头， 该预测头由低电平和高分辨率的特征图生成， 同时用卷积注意模块和变 压器编码器替代 原始yolov5框架中的部分卷积块和CS P瓶颈块； 将BTB插孔的中心像素点坐标进行坐标系转化得到目标区域机械臂基坐标系下的坐 标； 根据目标区域机械臂基坐标系下的坐标控制机械臂末端到达该点执行相应的移动装 配操作。 2.如权利要求1所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位方法， 其特征 在于， 所述将BTB插孔的中心像素点坐标进行坐标系 转化采用halcon九点平面标定法对相 机和机械臂末端 进行手眼标定 。 3.如权利要求1所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位方法， 其特征 在于， 获取含FPC ‑BTB的手机背板图像后， 采用LabelImg标注图像ROI区域并构建FPC ‑BTB训 练数据集， 采用tph ‑yolov5模型对FPC ‑BTB训练数据集进行改进， 基于改进的数据集获得用 于BTB插孔检测的模型 数据以及权 重文件。 4.如权利要求3所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位方法， 其特征 在于， 在得到改进的数据集后， 采用mosaic和mixup混合的方法进行数据增强， 对数据集中 得图像进行随机缩放、 裁 剪、 平移、 剪切和旋转处 理， 随机选取样本进行加权求和。 5.如权利要求3所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位方法， 其特征 在于， 在tph ‑yolov5模 型进行训练时， 根据改进的数据集对训练参数进 行了改进， 包括设置 前10个epoch为热身， 使用0.01作为初始学习率与余弦计划， 最后一个时期的学习率衰减到 初始学习率的0.1。 6.基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位系统， 其特 征在于， 包括： 图像获取模块， 被 配置为： 获取含FPC ‑BTB的手机背板图像； BTB插孔位姿获取模块， 被配置为： 基于含FPC ‑BTB的手机背板图像和训练后的tph ‑ yolov5模型检测得到BTB插孔的中心像素点 坐标； 其中， 所述tph ‑yolov5模型的构建过程包括： 在原有yolov5三个预测头的基础上加入 了变压器预测头， 该预测头由低电平和高分辨率的特征图生成， 同时用卷积注意模块和变 压器编码器替代掉原 始yolov5框架中的部分卷积块和CS P瓶颈块； 位姿解算单元， 被配置为： 将BTB插孔的中心像素点坐标进行坐标系转化得到目标 区域 机械臂基坐标系下的坐标； 装配模块， 被配置为： 根据目标区域机械臂基坐标系下的坐标控制机械臂末端到达该 点执行相应的移动装配操作。 7.如权利要求6所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位系统， 其特征 在于， 位姿解算单元中， 所述将B TB插孔的中心像素点坐标进行坐标系转化采用halcon九点权　利　要　求　书 1/2 页 2 CN 115294065 A 2平面标定法对相机和机 械臂末端 进行手眼标定 。 8.如权利要求6所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定位系统， 其特征 在于， BTB插孔位姿获取模块中， 获取含 FPC‑BTB的手机背板图像后， 采用LabelImg标注图像 ROI区域并构建FPC ‑BTB训练数据集， 采用tph ‑yolov5模型对FPC ‑BTB训练数据集进行改进， 基于改进的数据集获得用于BTB插孔检测的模型 数据以及权 重文件。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑5中任一项所述的基于tph ‑yolov5深度学习的FPC ‑BTB接口检测定 位方法中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑5中任一项 所述的基 于tph‑yolov5深度学习的FPC ‑BTB接口检测定位方法中的步骤。权　利　要　求　书 2/2 页 3 CN 115294065 A 3