(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211106382.7 (22)申请日 2022.09.11 (71)申请人 贵州大学 地址 550025 贵州省贵阳市花溪区贵州大 学 (72)发明人 谢明山　张松　邓艳芳　贾伟　 (74)专利代理 机构 贵阳春秋知识产权代理事务 所(普通合伙) 52109 专利代理师 杨云 (51)Int.Cl. G06V 10/82(2022.01) G06V 10/764(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06T 7/70(2017.01) G06T 7/80(2017.01) (54)发明名称 一种农作物果实采摘的果实识别定位方法 (57)摘要 本发明公开了一种农作物果实采摘的果实 识别定位方法。 本发明引入Ghostnet轻量化模 块， 得到GN ‑YOLOv5s模型， 由深度可分离卷积代 替原始卷积层提取特征,减少网络计算量； 再次, 为进一步精简 模型大小,在BN层引入关于缩放系 数的正则化项进行稀 疏训练,筛选出缩放因子γ 为0‑0 .005的通道 ,做出剪枝处理得到GS ‑ YOLOv5s模型； 最后,为使剪枝后的模型保持较高 的检测精度,采用知识蒸馏方法,以教师网络辅 助剪枝后的模型微调得到PD ‑yolov5s， 降低硬件 成本,同时在低算力平台便于部署。 本发明能够 降低网络复杂度， 提升检测 效率， 使其能够部署 到算力较小的嵌入式平台， 并获得农作物密集果 实的定位信息， 为采摘机器人后续的动作规划奠 定基础的有益效果。 权利要求书3页 说明书10页 附图8页 CN 115439731 A 2022.12.06 CN 115439731 A 1.一种农作物果实采摘的果实识别定位方法， 其特 征在于： 包括有以下步骤： 步骤一、 对农作物果实进行图像采集， 建立 果实数据集； 步骤二、 将原始YOLOv5s模型中的C3_x结构替换为Ghostnet模块， 得到GN ‑YOLOv5s模 型； 步骤三、 将步骤二中得到的GN ‑YOLOv5s模型进行稀疏训练， 得到GS ‑YOLOv5s模型， 且稀 疏训练首 先以BN层的缩放因子γ作为评价 通道重要性指标； 步骤四、 设置剪枝率， 将步骤三得到的GS ‑YOLOv5s模型中γ值为0 ‑0.005的通道进行剪 枝， 移除被剪枝的通道的输入输出， 然后对剪枝后的模型权重进 行调整， 最后调整剪枝率训 练并重复这个过程， 得到GP ‑YOLOv5s模型； 步骤五、 将步骤二中的原始YOLOv5s检测模型作为教师模型， 将步骤四得到的GP ‑ YOLOv5s模型作为学生模型， 通过步骤一中的原始YOLOv5s模型的完整输出， 让步骤 四得到 的GP‑YOLOv5s模型掌握步骤一中原始YOLOv5s模型的推理方式， 步骤四得到的GP ‑YOLOv5s 模型的分类损失函数如式(4)所示,坐标框损失函数如式(5)所示.最终蒸馏总体损失函数 如式(6)所示； 其中， 式4中 为步骤四得到的GP ‑YOLOv5s模型模型对应的目标、 类别概率、 坐 标框, 为各自的真实值,fobj、 fclass、 fbb分别为目标、 分类以及坐标框的损失函 数； 其中， 式5中 为目标损失, 为蒸馏损失, λD为权重系数, 为 教师模型 预测目标； 其中， 式6中: 对应原始分类损失, 为蒸馏分类损 失, λD为权重系数, 为更新后的教师模型 预测目标， 得到P D‑YOLOv5s模型； 步骤六； 相机标定： 将双目相机水平固定， 确保标定板在相机视野内， 不断的改变标定 板的位置和姿态， 采集40 ‑50组标定图片， 选择不同角度的14 ‑20组图片， 使用MATLAB标定工 具箱进行 标定， 得到双目相机参数； 步骤七、 完成步骤六的相机标定后， 利用步骤五中得到的PD ‑YOLOv5s模型输入双目相 机， 使双目相 机的左右摄像头分别识别出 的农作物果实检测框， 将农作物检测框中心点作 为目标点， 记为P点， 左相机的在像素坐标系下目标点P的坐标(XL,YL)， 记为PL(XL,YL)； 右相 机的在像素坐标系下目标点P的坐标(XR,YR)， 记为PR(XR,YR)； 步骤八、 将步骤七中得到农作物果实目标点P的二维坐标使用SGBM立体匹配算法对双 目相机左右摄像头获取 的图片逐行进行匹配； 步骤七中得到的P点在左右相 机的投影平面 上的像素坐标分别为PL(XL,XL)和PR(XR,YR)， 两相机的图像平面在同一水平面上， 步骤七中 得到的P点的坐标中Y＝YL＝YR， 由三角关系可以得到如式(9)所示：权　利　要　求　书 1/3 页 2 CN 115439731 A 2其中： f为相机焦距， b为左右相机光心 距离， (XC,YC,ZC)为世界坐标系下点P的坐标； 将步骤七中得到的P点的视差XL‑XR记为d， 以左相机的坐标系作为世界坐标系， 利用视 差值， 计算得到P点在左相机坐标系下的坐标， 如式(10)所示 为： 其中： b为左右相机光心距离,d为P点的视差， XL为左相机中目标点P在像素坐标系下的 横坐标， Y为左相机与相机中目标点P在像素坐标系下的纵坐标； 根据式(10)计算得到的坐标(Xc,Y c， Zc)即为 步骤七中得到的P点的三维坐标。 2.根据权利要求1所述的农作物果实采摘的果实识别定位方法， 其特征在于： 所述步骤 一中， 对农作物果 实进行图像采集后， 然后对果 实图像进行人工标注， 绘制果 实目标的外接 矩形框， 并标注被遮挡果实与未被遮挡果实两类， 标注后完成后， 建立 果实数据集。 3.根据权利要求1所述的农作物果实采摘的果实识别定位方法， 其特征在于： 所述步骤 二中， Ghost net模块首先将果 实数据集通过常规卷积， 得到常规卷积特征图， 然后由已生 成 的常规卷积特征图进行线性变换， 生成新的相似特征图， 最后将两组特征图中的信息进行 组合， 作为全部特 征信息。 4.根据权利要求1所述的农作物果实采摘的果实识别定位方法， 其特征在于： 所述步骤 三中， 稀疏训练首先以BN层的缩放因子γ作为评价通道重要性指标,γ大小与通道重要性 呈正相关， BN层的计算公式如下 所示： Zout＝γ·Z^+β     (1) 其中γ、 β 为BN层的归一化参数， Zm、 Zout分别表示BN层的输入和输出， μ、 δ分别代表BN层 的均值和方差， ε表示 一个范围为0 ‑0.001的常量； 然后对BN层的γ参数引入式(3)中的正则惩罚项∑γg(γ)， 同时构建稀疏训练损失函 数， 稀疏训练损失函数如下 所示： L＝∑(x,y)l(f(x,W),y)+λ∑γg(γ)    (3) 其中∑(x,y)l(f(x,W),y)为步骤二中GN ‑YOLOv5s模型定义的损失函数， x表示输入矩阵、 y表示输入标签、 W表 示模型的权重； λ∑γg(γ)是用来约束γ的正则项惩罚， 其中λ＝0.01用 于平衡下两项损失， 称为稀疏率。 5.根据权利要求1所述的农作物果实采摘的果实识别定位方法， 其特征在于： 所述步骤 四中， 设置65 ‑75％的剪枝率， 将步骤三得到的GS ‑YOLOv5s模型中γ值为0 ‑0.005的通道进 行剪枝， 移除被剪枝的通道的输入输出， 然后对剪枝后的模型权重进 行调整， 最后调整剪枝权　利　要　求　书 2/3 页 3 CN 115439731 A 3