(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210280423.8 (22)申请日 2022.03.22 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 林聃　陈志奎　钟芳明　李秋岑　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 隋秀文 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种具有自适应语义信息的多标签遥感图 像分类方法 (57)摘要 本发明针对多 标签航拍图像 分类问题， 公开 一种具有自适应语义信息的多标签遥感图像分 类方法， 由三个模块组成， 标签相关性提取器、 图 像特征提取器和多标签 分类器。 1)标签相关性提 取器从标签集中学习不同标签的依赖特征。 它基 于卷及神经网络对标签相关性进行建模并输出 语义标签特征； 2)图像特征提取器构建SPC层以 从航拍图像中学习信息并输 出图像特征； 3)多标 签分类器将语义标签特征和视觉图像特征作为 输入， 并整合这两种表示， 以对给定图像生成多 个预测。 实验验证表明， 由于对图像特征的细粒 度学习， 以及标签相关性的提取， 本发明能够探 索自适应语义信息来辅助图像的细粒度感知， 用 于多标签航拍图像分类问题。 权利要求书2页 说明书6页 附图2页 CN 114821298 A 2022.07.29 CN 114821298 A 1.一种具有自适应 语义信息的多标签遥感图像分类方法， 其特 征在于， 包括以下步骤： 步骤1、 图像特 征提取； 1.1)基础模型； 首先利用ResNet ‑101网络作为基础模型来处理原始 遥感图像； 对于 给定的输入图像xi， “conv5_x”层的输出作为初始图像特 征； 其中， ResNet ‑101网络在Ima geNet上预训练； 1.2)多尺度S PC层； 为了获得更细粒度的特征表示并为每个图像生成多个实例， 将基础模型的输出视为一 个集合， 其中包含特征向量的实例表示； 引入SPC组件来学习多尺度任务特定的特征， 即在 每个SPC层上通过不同大小的卷积核对特 征图进行 学习， 并行获取一组特 征图； 其中SPC组件由两种层组成， 分别是S PC过滤层和SPC池化层； 1.2.1)SPC过滤层 SPC过滤层是一组并行卷积操作， 其过滤器的大小范 围从1×1到n×n； 输入 来自基础 模型的输出， 第i层卷积运 算的输出 是： 其中θj表示模型参数， σ 是激活函数； 每个卷积操作的输出是一组特征图 并且每个都包含相应的实例； 此 外， j×j大小的卷积核的过 滤器生成(15 ‑j)×(15‑j)个特征图和实例； 1.2.2)SPC池化层 SPC池化层使用最大池化整合每个SPC过滤层的相应输出； 然后将来自所有特征映射的 实例堆叠成实例空间； 1.3)融合层； 通过最大池化层对特 征空间进行整合和处 理， 得到最终用于分类的图像级特 征fi∈Rm； 步骤2、 标签相关性 提取； 2.1)标签图的构建 首先将标签空间L中的所有标签节点表示为d维特征向量L， 其中每个标签节点li∈L表 示为li∈Rd； 对于公共标签空间L， 以条件概率的形式对标签相关性进行建模， 即P(lj|li)是 标签li出现时， 标签lj出现的概率； 此处， P(lj|li)不等于P(li|lj)， 即相关矩阵是不对称的； 基于相关矩阵中标签的共 存， 构建标签图来表示标签相关性； 2.2)基于注意力的GCN 1)GCN 对于给定的图G， 在图G上学习一个函数， 该函数以节点特征Hi∈Rc×d和相关矩阵A∈Rc×c 作为输入， 并输出更新后的节 点特征Hi+1∈Rc×d′； 具体来说， 对于第i个GCN层， 对于输入 特征 表示Hi∈Rc×d， 输出Hi+1∈Rc×d’写成非线性操作： Hi+1＝g(AHiWi)    (2) 其中Wi∈Rd×d′是要学习的权重变换矩阵； A∈Rc×c表示相关矩阵； 非线性函数g()由 LeakReLU起作用； 对于第一层GCN网络， H1＝L； 2)基于注意力的GCN权　利　要　求　书 1/2 页 2 CN 114821298 A 2基于注意力 的GCN表示为attGCN， 首先， 对标签词嵌入向量及其邻居嵌入的输入执行 DotProduct注意力机制； 然后， 标签词嵌入向量通过其注 意力加权邻居节 点特征进行更新； 具体如下： 首先将所有标签节点表示为词嵌入向量； 标签节点li∈L表示为li∈Rd； li的邻居节点集 hi∈H记为 其中 k∈[1,2,···,K],K为邻居的数量； 然后， 参 考计算标签节点 li与其一个邻居节点 之间的注意力得分为： 其中W∈Rd是要学习的权重向量； li∈Rd是标签节点li的特征嵌入， 是邻居节点 的特征嵌入； ( ·)的运算表示点积运算； g()是非线性函数， 由LeakReLU作用； 根据注意 力得分， 标签节点 li的特征向量被更新 为来自K个邻居节点的信息的加权组合： 其中 表示标签节点li的更新特征向量； uik是公式(3)计算的标签节点li和邻居节点 的注意力得分， Ii是标签节点 li的特征向量； 随后， c个标签经过全连接层处理后输出最终的标签特征， 由此， 基于attGCN层的标签 相关性提取器提取 标签图的拓扑 结构并生成标签级特 征G∈Rc×m； 步骤3、 多标签分类； 对于输入图像xi， 利用提取到的图像级特征fi∈Rm和标签级特征G∈Rc×m预测最终的多 标签遥感图像分类结果 每个预测得分 代表对应标签lk的置信度， 每个真 实值 代表标签lk的存在与 否； 对于图像xi， 如果特定标签lk的置信度 高于0.5， 则其被预测为正； 使用真实值 向量y 和预测结果 通过多标签交叉熵损失函数训练， 其目标函数为： 权　利　要　求　书 2/2 页 3 CN 114821298 A 3