(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210272036.X (22)申请日 2022.03.18 (71)申请人 华南农业大 学 地址 510642 广东省广州市天河区五山路 483号 (72)发明人 谢家兴　华佳俊　李君　何培华　 余振邦　付仙冰　张笑微　孙道宗　 肖傲　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 李冉 (51)Int.Cl. G06V 20/17(2022.01) G06V 20/68(2022.01)G06V 10/25(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 3/40(2006.01) G01N 21/25(2006.01) (54)发明名称 基于无人机高光谱的荔枝病害检测方法及 系统 (57)摘要 本发明公开了一种基于无人机高光谱的荔 枝病害检测方法及系统， 通过无人机搭载机载高 光谱相机获取并处理得到局部高光谱数据和可 见光数据； 将局部高光谱数据经过处理拼接成一 幅高光谱立体全景图； 选取特定大小的区域， 将 该区域中的光谱数据输入预先构建的病害数据 模型， 判断出该区域植株健康状况以及患病类 型。 该方法运用2D和3D卷积神经网络构建了深度 影像拼接模 型和病害数据模型， 残差结构的设计 使网络运算更加简单， 所需计算量变小， 为利用 高光谱遥感技术进行大规模果园病害发散动向、 病情监测 和预警提供了数据支持。 权利要求书3页 说明书13页 附图3页 CN 114663785 A 2022.06.24 CN 114663785 A 1.一种基于无 人机高光谱的荔枝病害检测方法， 其特 征在于， 包括以下步骤： 步骤1： 通过无人机搭载机载高光谱相机获取并处理得到局部高光谱数据和可见光数 据； 步骤2： 将可 见光数据结合局部高光谱数据， 拼接成一幅高光谱立体全景图； 步骤3： 在所述高光谱立体全景图中根据设定范围选取区域， 将选取区域中的高光谱数 据输入预 先构建的病害数据模型中， 获取选取区域检测结果。 2.根据权利要求1所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 所 述步骤1中对机载高光谱相机采集数据的处 理过程包括： 步骤11： 对所述机载高光谱相机进行黑板校正和标准白板辐射校正； 步骤12： 利用无 人机搭载机载高光谱相机采集高光谱数据和可 见光数据； 步骤13： 对采集到的高光谱数据和可见光数据进行删选， 获得处理后的局部高光谱数 据和可见光数据。 3.根据权利要求1所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 步 骤2中的高光谱立体全景图的拼接过程包括： 步骤21： 通过采集的局部高光谱数据和可见光数据自带的坐标数据， 随机指定所述可 见光数据中的一幅图像为中心基准影像数据， 并根据中心基准影像确定其临近影像数据， 构建拼接数据集； 步骤22： 将拼接数据集中图像调整为224 ×224的影像数据， 并随机挑选两张临近的影 像数据I1和I2； 步骤23： 将影像数据I1和I2输入到深度影像拼接模型中， 得到两张影像数据的单应性矩 阵H4p； 步骤24： 将得到的所述单应性矩阵H4p变换为一般形式H， 并将影像数据I2通过一般形式 的单应性矩阵H变换为 I′2； 步骤25： 将变换后的I ′2拷贝到影像数据I1上进行拼接， 将重叠区域的像素值按设定的 权值相加合成新图像， 并对应将影像数据I1和I2对应的所述局部 高光谱数据进行拼接合成 新光谱图； 步骤26： 拼接数据集中所有图像是否拼接完成， 如果拼接完成则进入步骤27； 否则， 将 步骤25中合成新图像作为影像数据I1， 并选取拼接数据集剩余图像中与合成新图像临近的 图像作为影 像数据I2， 返回所述 步骤23； 步骤27： 是否存在未拼接的可见光数据， 如果存在， 则剩余可见光数据和对应的局部高 光谱数据重复进入所述步骤21； 如果不存在， 则将所有新图像和对应的新光谱图构成拼接 数据集并重复进入所述 步骤22， 遍历结束获得高光谱立体全景图。 4.根据权利要求3所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 步 骤23中的所述深度影像拼接模型基于2D  CNN构建， 由BConv模块、 Block模块、 Pool模块和 Liner模块组成， 输入区域大小为2 24×224， 输入通道数为6； 所述BConv模块包括 不带偏置的卷积层、 批归一 化层和Relu激活函数； 所述Block模块由三种不同的BCo nv模块组成， 数据处 理过程包括： 步骤2311： 经过卷积核大小为1、 步长为1、 填充为0的DW分组卷积； 步骤2312： 再 经过卷积核大小为3、 步长为1、 填充为1的DW分组卷积；权　利　要　求　书 1/3 页 2 CN 114663785 A 2步骤2313： 再 经过卷积核大小为1、 步长为1、 填充为0的PW普通卷积； 步骤2314： 再 经过残差连接得到 输出； 所述Pool模块由两个BCo nv模块组成， 其数据处 理过程包括： 先经过卷积核大小为3、 步长为2、 填充为1的DW分组卷积； 再经过卷积核大小为1、 步长 为1、 填充为0的PW普通卷积。 5.根据权利要求3所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 所 述步骤23中的所述深度影响拼接模型训练过程包括： 步骤2321： 选择MS  COCO数据 集中的图片作为数据 集， 在从数据 集中选取的原始图像上 随机裁剪出一个2 24×224的矩形图像A； 步骤2322： 记录下矩形图像A的4个角点的位置， 在预设范围内对4个角点进行随机位 移， 通过对位移前后的坐标计算， 得到一个单应性矩阵的一般形式H； 步骤2323： 求出单应性矩阵的一般形式H的逆矩阵H‑1， 将逆矩阵H‑1应用于所述原始图 像， 产生变换后的新图像， 在新图像中找到与矩形图像A相同位置的图像B； 步骤2324： 将矩形图像A与图像B在通道维度结合， 得到6 ×224×224的输入， 并将之前 的得到单应性矩阵的一般形式H作为输出， 采用均方差损失MSE进行训练， 获得深度影像拼 接模型。 6.根据权利要求5所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 步 骤23中的单应性矩阵H4p， 为4行2列形式的单应性矩阵， 公式形式如下 所示： 其中， (Δx1， Δy1)、 (Δx2， Δy2)、 (Δx3， Δy3)、 (Δx4， Δy4)分别表示矩形图片的四个对 应顶点的偏移量。 7.根据权利要求3所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 步 骤24中的单应性矩阵的一般形式H是一个3 ×3矩阵， 表示 为： 单应性矩阵将一幅图像中每个位置上的点(x,y)映射到另一幅图像的对应位置(x ’, y’)上， 表示 为： 8.根据权利要求1所述的一种基于无人机 高光谱的荔枝病 害检测方法， 其特征在于， 步 骤3中所述病害数据模型构建过程包括：权　利　要　求　书 2/3 页 3 CN 114663785 A 3