(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211117962.6 (22)申请日 2022.09.14 (71)申请人 北京工业大 学 地址 100124 北京市朝阳区平乐园10 0号 (72)发明人 冯金超　邢乐园　孙中华　贾克斌　 (74)专利代理 机构 北京思海天达知识产权代理 有限公司 1 1203 专利代理师 王兆波 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于粗细粒度的地基云图分类方法 (57)摘要 本发明公开了一种基于粗细粒度的地基云 图分类方法， 属于大气科学与计算机视觉领域。 如何在不添加人工辅助信息和额外的物体位置 信息标注的情况下提取更精细、 更显著的纹理和 形状特征仍是一个亟待解决的技术问题。 本发明 包含以下步骤： 构建了一种弱监督学习的粗细粒 度预测网络来提取云图具有辨别性的纹理特征， 通过网络训练建立了云图全局特征与局部特征 之间的联系； 结合注意力学习和局部定位方法实 现对云图显著性局部特征的定位和细化； 最后， 将粗细粒度预测结果相融合实现对目标的定位 和分类并输出所属类别。 实验结果表明本方法在 地基云分类方面比强监督方法取得了更好的进 展， 达到98.58％的准确率， 为 设备集成与实际应 用提供了可能性。 权利要求书1页 说明书4页 附图2页 CN 115482412 A 2022.12.16 CN 115482412 A 1.一种基于粗细粒度的地基云图分类方法， 其特 征在于包括以下步骤： S1： 构建粗粒度预测网络； S2： 构建基于注意力的区域定位模块； S3： 构建细粒度预测网络 。 2.根据权利要求1所述的一种基于粗细粒度的地基云图分类方法， 其特征在于， 对于 S1， 设计了一个粗粒度预测网络来提取地基 云图全局特征： 该网络首先将大小为448 *448的 地基云图像I作为输入， 经过预处理得到大小为224*224的图像I'， 利用一个主干特征提取 网络N提取地基云图像的深度特征图Fg， 并基于注意力学习机制对深度特征图Fg进行卷积核 大小为1*1*M的卷积操作得到注意力特征图Ag， M为卷积核的通道数； 其次， 基于双线性注意 力机制将分别得到Fg和Ag对应元素相乘得到全局目标特征图Fgt； 最后， 对全局目标特征图 Fgt进行全局平均池化得到全局特征矩阵Fgm， 并作为11类线性分类器的输入， 得到地基云图 的粗粒度预测概 率P1。 3.根据权利要求2所述的一种基于粗细粒度的地基云图分类方法， 其特征在于， 对于 S2， 设计了一个基于注意力的区域定位模块来抑制输入图像引入的背景噪声， 同时实现对 局部辨别性特征的细化提 取： 首先将 Ag进行批量归一化 得到注意力权重W， 并根据W从Ag中随 机选择两张注意力特征图A1'和A'2； 其次， 设置阈值θ1和 θ2分别用于产生注意力特征图A1'和 A'2的生成掩膜 A1'_mask和A'2_mask， 其中产生A1'_mask和A'2_mask的表达式如下： 再次， 确定A1'_mask矩阵中所有非零值 的坐标， 并分别找出A1'_mask横纵坐标中的最大值 xmax,ymax和最小值xmin,ymin得到截取框[xmin:xmax,ymin:ymax]， 根据截取框对I'进行裁剪得到 截取图像crop_img； 使用A'2_mask直接对I'相乘得到擦除图像drop_img； 最后， 采用双线性插 值上采样 将crop_img和drop_img的大小调整为2 24*224。 4.根据权利要求3所述的一种基于粗细粒度的地基云图分类方法， 其特征在于， 对于 S3， 设计了一个细粒度预测网络来提取地基云图局部特征： 首先使用与S1中相同的主干特 征提取网络N对图像crop_img和drop_img提取特征得到深度特征图Fl， 并基于与S1相同的 注意力学习机制对Fl进行卷积操作得到注意力特征图Al； 其次， 基于双线性注意力机制将分 别得到的Fl和Al对应元素相乘得到局部目标特征图Flt； 再次， 对Flt进行全局平均池化得到 局部特征矩阵Flm， 并作为11类线性分类器的输入， 得到地基云图的细粒度预测概率P2； 最 后， 计算粗粒度分类预测概率P1和细粒度预测概率P2的平均值得到最终地基云图的分类概 率P。权　利　要　求　书 1/1 页 2 CN 115482412 A 2一种基于粗细粒度的地基 云图分类方 法 技术领域 [0001]本发明属于大气科学与计算机视觉领域， 涉及一种基于粗细粒度的地基云图分类 方法。 背景技术 [0002]云覆盖了地表面积的60％左右， 在地球 的热平衡、 水循环和气候系统中发挥着重 要作用。 传统的地基云分类方法往往依赖于手工制作的特征(例如纹理、 结构、 颜色等)， 然 而， 手动标注数据既费时又费力， 尤其是在数据集规模变大的情况下。 近年来随着深度学习 在图像分类领域越来越大 的兴趣， 大量学者开始对地基云分类应用领域进行研究， 目前最 常用的是基于强监督的分类架构， 然而网络的稳定性和分类精度极大的依赖于精细化数据 的标注， 在一定程度上限制 了深度学习算法在海量数据集上 的扩展。 相比严重依赖精细化 标注数据的强监督算法， 弱监督算法只要求图像中是否出现过某类目标的类别给出标注， 因此之前已经标注好的图像分类数据同样可以作为弱监督算法的输入数据， 这在一定程度 上大大降低了标注成本和标注的工作量。 然而， 弱监督深度学习分类算法在训练过程中因 为缺少对输入图像精确的位置信息而引入较高比例的背景噪声， 尤其当物体较小的时候， 极大的影响了模型分类的精度和模型 的鲁棒性。 因此， 对局部辨别性特征进行有效定位的 弱监督分类方法有必要 进行进一 步的研究。 发明内容 [0003]本发明要解决的技术问题是如何在不添加人工辅助信息和额外的物体位置信息 标注的情况下提取并定位更精细、 更显著的纹理和形状特征， 获得高精度的分类结果。 针对 该技术问题我们构建了一种弱监督学习的粗细粒度预测网络(GFCNet)， 通过网络训练建立 了云图全局特征与局部特征之间的联系， 结合注 意力学习和区域目标定位方法实现了对11 类地基云的精准定位和分类。 [0004]首先， 分析并构建本发明的模型 结构GFCNet， 具体包 含以下步骤： [0005]步骤1： 粗粒度预测网络； [0006]为了提取地面云 图像的全局 特征， 该网络首先将尺寸为448*448大小的地基云 图 像I作为输入， 经过预处理得到大小为224*224的图像I'， 然后利用主干特征提取网络 InceptionV3提取12*12*768大小的地基云图像的深度特征图Fg。 接下来， 基于注意力学习 机制对深度 特征图Fg进行卷积核大小为1*1*M的卷积操作 得到注意力特征图Ag， M为卷积核 的通道数， 每个通道的注意力图代表网络提取到的物体某一部位的显著 性特征。 其次， 基于 双线性注意力融合(Bilinear  attentionfusion)将分别对提取到的深度特征图Fg和注意 力图Ag对应元素相乘得到全局目标特征图Fgt， 再经过全局平均池化(GAP)得到全局特征矩 阵Fgm， 最后经过全连接层(Fc)输出基云图的粗粒度预测概 率P1。 [0007]步骤2： 基于注意力的区域定位模块； [0008]为了抑制输入图像引入的背景噪声， 同时实现对局部辨别性特征的定位和细化，说　明　书 1/4 页 3 CN 115482412 A 3