(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211107167.9 (22)申请日 2022.09.13 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 王俊　李柏燎　韦真博　杜冬冬　 王永维　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林松海 (51)Int.Cl. G06V 10/26(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于计算机视觉和深度学习的茶蓬深度分 布检测方法 (57)摘要 本发明公开了基于计算机视觉和深度学习 的茶蓬深度分布检测方法， 其步骤为： S1.使用 RGB相机采集田间茶园图像， 并对所述图像中的 茶陇进行标注， 制作茶园图像数据集。 S2.设计基 于深度学习的茶陇图像 分割模型， 利用步骤S1所 述茶园数据集对模型进行训练直至模 型收敛。 根 据所述图像分割模型， 输入RGB相机采集原始图 像， 输出图像中所包含的茶蓬中心线和茶园区域 分割图像。 S3.根据步骤S2所述茶蓬中心线和茶 园区域分割图像， 计算茶蓬深度分布特征， 并将 其映射于茶园区域分割图像中， 完成茶蓬深度分 布的检测。 本发 明能够识别茶陇中茶蓬区域的深 度分布， 具有较高的检测准确度以及较好的田间 适用性， 能够应用在茶园智能农业装备导 航中。 权利要求书2页 说明书5页 附图3页 CN 115512106 A 2022.12.23 CN 115512106 A 1.一种基于计算机视觉和深度学习的茶蓬深度分布检测方法， 其特征在于， 包括以下 步骤： S1.使用RGB相机采集田间茶 园图像， 对所述图像中的茶陇区域和茶蓬中心线位置进行 标注， 制作茶园图像数据集； S2.使用基于深度学习的茶陇图像分割模型， 利用步骤S1所述茶园图像数据集进行训 练直至茶陇图像分割模型收敛； 根据所述茶陇图像分割模型， 输入RGB相机采集待检测的原 始图像， 输出图像中所包 含的茶蓬中心线和茶园区域分割图像； 所述茶陇图像分割模型采用单输入、 双输出的前向传播流， 包括骨干特征提取网络、 特 征融合网络和两个预设计的检测分支； 所述检测分支中第一个分支基于注意力和位置编码 机制， 由行列注意力模块、 可学习的位置编 码模块和多层感知机模块构成， 用于提取图像中 茶棚中心线相关语义信息， 输出图像中茶蓬的中心线； 第二个分支基于编码 ‑解码机制， 由 多头自注意力模块、 上采样模块和输出通道为2的全连接层构成， 用于提取图像中茶陇区域 前景信息， 输出茶陇区域语义分割图像； S3.根据步骤S2所述茶陇区域分割图像， 提取茶陇区域分割图像连通域， 利用二分图匹 配算法对 所述连通域与步骤S2所述茶蓬中心线进 行匹配， 得到 茶蓬中心线与茶陇区域匹配 关系， 根据所述茶蓬中心线与茶陇区域匹配关系， 计算茶蓬深度分布特征， 并将其映射于茶 园区域分割图像中， 完成茶蓬深度分布的检测。 2.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法， 其特 征在于， 所述步骤S1中所述茶园图像数据集由三个部 分组成： 原始图像、 茶园区域图像标签 和茶蓬中心线数据标签， 其中茶园区域图像标签和茶蓬中心线数据标签为互相 独立绘制； 采集过程中， 相机与水平方向呈45 °~90°夹角， 相机与茶蓬最高处的竖直高度保持在0.5m~ 1m内， 保证相机 视野内包 含茶陇沿相机 视角向外延伸。 3.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法， 其特 征在于， 所述 步骤S2中所述茶陇图像分割模型： （1） 骨干特征提取网络和特征融合网络从原始图像数据提取特征， 生成图像数据的高 维特征图； （2） 所述检测分支第一个分支由行列注意力模块、 可学习的位置编码模块和多层感知 机模块构成， 该分支提取所述高维特征图中的行列特征， 并利用可学习的位置编码进行行 列特征与茶蓬中心线特 征的映射， 最后通过多层感知机生成茶蓬中心线； （3） 所述检测分支第二个分支由多头自注意力模块、 上采样模块和输出通道为2的全链 接层构成， 该分支首先利用多头 自注意力模块加强所述高维特征图中前景信息重要度， 然 后利用上采样模块将高维特征图解码还原为原始图像尺寸， 最后通过所述全链接层 对图像 中所有像素点进行 前景背景分类， 得到茶陇区域语义分割图像。 4.根据权利要求1所述的基于计算机视觉和深度学习的茶蓬深度分布检测方法， 其特 征在于， 所述 步骤S3中计算茶蓬深度分布特 征： S31.对步骤所述茶陇区域分割图像进行连通域提取， 获取茶陇区域所有连通域的类 别、 面积、 中心点 位置、 外接矩形以及边 缘轮廓， 剔除连通 域面积小于S的连通 域； S32.利用二分图匹配算法将步骤S2所述茶蓬中心线与所有连通域进行匹配， 剔除未匹 配的茶蓬中心线， 得到匹配成功的茶陇区域；权　利　要　求　书 1/2 页 2 CN 115512106 A 2S33.遍历所有步骤S32所述匹配成功的茶陇区域， 创建茶蓬深度掩膜， 掩膜内处于茶蓬 中心线位置的像素点灰度值为最大值， 处于茶陇连通域左右 边缘位置的像素点灰度值为最 小值， 掩膜中灰度值的大小代表茶蓬距离地面的相对高度； 所述茶陇连通域左右边缘的计 算步骤为： S331.以图像左上角为原点水平向右为x轴， 竖直向下为y轴建立坐标系， 取出茶陇外接 矩形宽w、 高h和左上角顶点P(x,  y),计算得茶陇上边 缘为y， 下边 缘为y+h； S332.遍历所有茶陇连通域边缘点， 计算纵坐标与茶陇上边缘、 下边缘的距离d， 若d大 于h/100， 则判定该边 缘点为左右边 缘点； S333.集合所有左右边 缘点， 得到茶陇连通 域左右边 缘位置； S34.检查是否存在未匹配成功的茶陇连通域， 若存在， 判断其中心点位置与图像竖直 方向中心线的相对位置关系， 若中心点位置在图像竖直方向中心线左侧， 则以连通域右边 缘为灰度最小值， 左边缘为灰度最大值构建茶蓬深度掩膜； 若中心点位置在图像竖直方向 中心线右侧， 则以连通 域右边缘为灰度最大值， 左边 缘为灰度最小值构建 茶蓬深度掩膜； S35.将步骤S33与步骤S34构建的茶蓬深度掩膜进行拼接后即为输入图像中茶蓬的深 度分布特 征。权　利　要　求　书 2/2 页 3 CN 115512106 A 3