(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740190.5 (22)申请日 2022.06.28 (71)申请人 淮阴工学院 地址 223003 江苏省淮安市经济技 术开发 区枚乘东路1号 申请人 江苏省农业科 学院 (72)发明人 高尚兵　李洁　余骥远　唐琪　 陈新　缪奕可　曹鹏　袁星星　 杨瑞杰　陈浩霖　任珂　张海艳　 刘步实　李少凡　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/10(2022.01)G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于RePMMS-Net 的绿豆叶斑病识别方 法 (57)摘要 本发明公开了一种基于RePMMS ‑Net的绿豆 叶斑病识别方法， 预先获取绿豆叶斑病图像， 通 过人工标注制作绿豆叶斑病数据集； 构建并行多 分支多尺度卷积 核模块PMMS， 并重复使用PMMS 模 块， 进行特征重复学习， 得到最终图像的特征向 量； 将图像的特征向量输入全局平均池化层， 输 出最终的特征向量作为softmax分类器的输入； 构建softmax分类器， 将输入的特征向量转化为 关于类别的概率向量输 出； 构建RePMMS ‑Net网络 模型， 并训练该网络， 即通过不断迭代前向传播 过程、 反向传播过程优化网络的参数； 使用训练 好的RePMMS ‑Net网络模型对测试图像中的目标 进行识别。 本发明提出的病斑识别模型， 能充分 挖掘图像中的特征； 增强了模型的适应性， 提高 了分类精度， 具有良好的泛化性能和较好的鲁棒 性。 权利要求书3页 说明书7页 附图3页 CN 114973005 A 2022.08.30 CN 114973005 A 1.一种基于RePM MS‑Net的绿豆叶斑病识别方法， 其特 征在于， 包括以下步骤： (1)预先获取绿豆叶斑病图像， 通过 人工标注制作绿豆叶斑病数据集； (2)对步骤(1)获取的绿豆叶斑病数据集进行预处理， 进一步扩充图像样本集， 增加样 本的多样性； (3)构建并行多分支多尺度卷积核模块PMMS： 首先使用多路并行分支， 对经步骤(2)处 理过的图像进 行多分支多尺度的特征提取， 得到多分支多尺度图像的特征向量； 然后， 将得 到的图像的特征向量对应的卷积块分别进行上采样和下采样处理， 并且进行融合， 得到包 含不同分支的卷积块信息的融合图像的特征向量； 最后， 将得到的特征融合后的图像的特 征向量输入到卷积层中， 减少输出 特征图的通道数目； (4)重复使用PM MS模块， 进行 特征重复学习， 得到最终图像的特 征向量； (5)将步骤(4)得到的图像的特征向量输入全局平均池化层， 输出最终的特征向量作 为 softmax分类 器的输入； (6)使用步骤(5)得到的图像特征向量作为输入， 构建softmax分类器， 将输入的特征向 量转化为关于类别的概 率向量输出， 每 个概率分量对应一个训练对应的类别概 率； (7)通过步骤(3)至(6)构建RePMMS ‑Net网络模型， 并训练该网络， 即通过不断迭代前向 传播过程、 反向传播过程优化网络的参数； (8)使用训练好的RePM MS‑Net网络模型对测试图像中的目标进行识别。 2.根据权利要求1所述的基于RePMMS ‑Net的绿豆叶斑病 识别方法， 其特征在于， 所述步 骤(2)包括以下步骤： (21)翻转变换： 沿水平或垂直方向翻转原 始图像； (22)旋转： 将原 始图像随机 旋转一定的角度； (23)缩放变形： 按照一定的比例放大或缩小原 始图像； (24)随机裁剪： 从原始图像样本中随机选取一部分， 然后将选取的部分放大到原图像 大小； (25)对经过(21) ‑(24)步骤处理后的图片进行随机选取叠加， 添加到原始图像样本集 中。 3.根据权利要求1所述的基于RePMMS ‑Net的绿豆叶斑病 识别方法， 其特征在于， 所述步 骤(3)包括以下步骤： (31)编码格式转换： 将图像进行编码转换为张量： Batch RGB‑Images→(batch， channel， height， w idth) 其中， batch代表一次输入的图像张数； channel代表RGB 三通道取3； height是输入图像 的高， width代表输入图像的宽； (32)构建多路并行分支模块： 采用三个分支构建多路并行分支模块， 三个分支分别由一个3 ×3卷积核、 两个3 ×3卷 积核和三个3 ×3卷积核构成； 对第一个分支输出的特征图进行下采样， 对第三个分支输出的特征图上采样， 将两个 分支输出的特 征图的高宽变成与第二个分支输出的特 征图的高宽同样的大小； (33)构建多分支融合模块：权　利　要　求　书 1/3 页 2 CN 114973005 A 2将三个分支得到的三个特征图的特征向量进行连接 融合， 得到特征融合后的图像的特 征向量； 将特征融合后的图像的特征向量通过一个1 ×1卷积来进 行通道压缩， 并行添加的1 ×1卷积包含激活函数。 4.根据权利要求1所述的基于RePMMS ‑Net的绿豆叶斑病 识别方法， 其特征在于， 所述步 骤(6)实现过程如下： 输入的特征向量用 表示： 参数m代表 特征向量的维度大小， 权值 矩阵w为： 其中参数n代 表训练设置的类别数； 类别yj对应的权值向量 为： 类别向量 为： 类别yj对应的softmax分类输出概 率为： softmax分类 器最终输出为类别对应的概 率向量： 在应用模型时， 取最大的Pj对应的类别yj最为最终判定的分类结 果。 5.根据权利要求1所述的基于RePMMS ‑Net的绿豆叶斑病 识别方法， 其特征在于， 所述步 骤(7)包括以下步骤： (71)构建RePMMS ‑Net网络模型， 将步骤(3) ‑(4)所述的四个PMMS模块进行连接， 然后在 其后连接一个全局平均池化层， 最后连接一个softmax分类 器； (72)卷积神经网络进行 前向传播， 方法如下： 其中， 表示网络的m层和m ‑1层之间的权重矩阵， 表示偏移参 数， p(m)表示m层的节点数目， 表示非线性激活函数ReLU函数； (73)根据每 个图片的真实标签信息和前向传播得到预测信息， 计算网络的损失函数； (74)执行反向传播过程， 计算损失函数关于某一节点的偏导数， 使用梯度下降法更新 网络的权 重参数， 方法如下： 其中， m表示层数， i表示神经元在层中的序号， j表示一个神经元输入 的序号， α表示学 习率； 反向传播过程更新网络 权重参数结束后， 跳转前向传播；权　利　要　求　书 2/3 页 3 CN 114973005 A 3