(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210282505.6 (22)申请日 2022.03.22 (65)同一申请的已公布的文献号 申请公布号 CN 114612685 A (43)申请公布日 2022.06.10 (73)专利权人 中国科学院空天信息创新研究院 地址 100190 北京市海淀区北四环西路19 号 (72)发明人 陈德跃　彭玲　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 金怡 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)(56)对比文件 CN 113314205 A,2021.08.27 CN 114037055 A,2022.02.11 CN 112668492 A,2021.04.16 CN 113158949 A,2021.07.23 US 11200497 B1,2021.12.14 CN 112989927 A,2021.0 6.18 Isabela Albuquerque et al. .“Improving out-of-distributi on general ization via multi-task self-supervised pretrai ning”. 《arXiv》 .2020, 彭玉娇.“基于自监督学习的图像特 征表示 方法研究 ”. 《中国优秀硕士学位 论文全文数据库 信息科技 辑》 .2022,(第03期), Duc-Quang et al. .“Self-Sipervised Learning via multi-Transformati on Classificati on for Acti on Recogn ition”. 《arXiv》 .2021, 审查员 赵慧敏 (54)发明名称 一种结合深度特征与对比学习的自监督信 息提取方法 (57)摘要 本发明涉及一种结合深度特征与对比学习 的自监督信息提取方法， 包括： 第一步： 将无标注 数据的影像x ‘与标注过的影像x经过特征编码， 分别输入到代理任务与最终的目标任务中， 分别 进行训练。 第二步： 在代理任务训练时， 固定分割 任务的网络结构参数， 将x ‘编码得到的特征， 结 合x‘经过分割任务特征提取层编码的特征， 以神 经网络结构 模拟无标注数据非监督提取， 训练一 遍无标注数据集； 第三步： 分割任务训练时， 固定 代理任务的网络结构参数， 将x编码得到的特征， 结合代理任务经过特征提取层编码的特征， 训练 一遍整个数据集； 第四步： 在以上的训练中， 不断 地迭代训练； 并且在将两个特征提取结构提取的特征进行整合时， 实现特 征迁移的效果。 权利要求书2页 说明书3页 附图2页 CN 114612685 B 2022.12.23 CN 114612685 B 1.一种结合深度特 征与对比学习的自监 督信息提取 方法， 其特 征在于， 包括： 第一步： 将无标注数据的影像x ‘与标注过的影像x经过特征编码， 分别输入到代理任务 与最终的目标任务中， 分别进行训练； 所述的目标任务， 为分割任务； 第二步： 在代理任务训练时， 固定分割任务的网络结构参数， 将x ‘编码得到的特征， 结 合x‘经过分割任务特征提取层编码的特征， 以神经网络结构模拟无标注数据非监督提取， 训练一遍无 标注数据集； 第三步： 分割任务训练时， 则固定代 理任务的网络结构参数， 将x编码得到的特征， 结合 代理任务经 过特征提取层编码的特 征， 训练一遍 整个数据集； 第四步： 在以上的训练中， 不断地迭代训练， 在其中一个网络结构训练后， 将其中特征 提取网络部 分参数固定， 进行另一个网络结构的训练， 以第二步和 第三步迭代循环； 并且在 将两个特征提取网络结构提取 的特征进行整合时， 采用通道注意力机制， 为两个特征提取 网络结构部分输出 的特征向量设定一个权重， 以此对输出得到的特征向量进行加权整合， 以这种交替的形式实现特 征迁移的效果。 2.根据权利要求1所述的一种结合深度特征与对比学习的自监督信息提取方法， 其特 征在于， 包括： 其中代理任务的选择多任务学习结构， 包括图像修复与对比学习两种方式同时加入代 理任务进行训练， 首先是对比学习， 对比学习 是通过特征变化不变性的原理来实现对特征 的提取， 通过对影像进行变换， 随后比较变换 的影像结果之间存在的相似性来实现损失函 数的构建。 3.根据权利要求2所述的一种结合深度特征与对比学习的自监督信息提取方法， 其特 征在于， 对比学习代理任务的具体如下： 第一步： 构建特征库， 将完整的数据集遍历后通过特征提取网络， 并将得到的特征向量 结果保存下来， 由此构建得到特 征库； 第二步： 将输入图像进行增强变换， 变换后得到的结果分别通过特征编码得到编码特 征结果； 第三步： 将得到的两个编码结果计算正样例相似度， 将特征库中所有的特征与编码结 果计算负 样例损失， 通过损失迭代完成对比学习部分网络结构的训练。 4.根据权利要求1所述的一种结合深度特征与对比学习的自监督信息提取方法， 其特 征在于， 图像修复代理任务本身 是还原图像中缺 失的部分， 基于图像中已有信息， 去还原图 像中的缺失部 分， 经过颜色变换以及几何变化的影像的原始影像， 遮挡一部 分作为输入， 以 遮挡前的数据作为输出， 由此构建相似性损失函数， 进行迭代训练。 5.根据权利要求4所述的一种结合深度特征与对比学习的自监督信息提取方法， 其特 征在于， 进行迭代训练的过程具体如下： 第一步， 在原始影像上制作人为的遮挡， 以供训练时修复， 遮挡方块的大小根据建筑物 所占大小设计； 第二步， 将遮挡影像输入到设置的对称网络结构中， 经过训练， 得到修复好的影像结 果； 第三步， 将生成影像与原始影像之间计算损 失， 计算损 失后经神经网络损 失反向传播 原理更新 参数， 并且不断训练网络结构直至稳定， 其损失函数如下 所示：权　利　要　求　书 1/2 页 2 CN 114612685 B 2        （1） 其中μx和μy表示输入影像与输出影像 的均值，σxy，σx，σy表示两影像 的协方差与方差， C 为常数， SSIM损失能更好的评价图像质量， 通过计算预测影像与 原始影像间的相似度， 将损 失根据误差反向传播定理， 更新网络结构， 以完成对网络的训练。权　利　要　求　书 2/2 页 3 CN 114612685 B 3