(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210222236.4 (22)申请日 2022.03.07 (71)申请人 辽宁师范大学 地址 116000 辽宁省大连市沙河口区黄河 路850号 (72)发明人 王相海　赵克云　赵晓阳　李思瑶　 (74)专利代理 机构 大连非凡专利事务所 212 20 专利代理师 闪红霞 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于时空联合图注意机制的高光谱影像变 化检测方法 (57)摘要 本发明公开了一种基于时空联合图注意机 制的高光谱遥感影像变化检测方法， 引入了时空 联合图注 意机制， 利用不同时相地表覆盖之间的 关联性来传播地表覆盖信息， 有效地弥补了传统 卷积神经网络提取特征时的不足。 同时， 由于时 空联合图注意机制是以半监督的方式进行特征 传播， 可以一定程度上减少网络对于标记样本数 量的依赖性。 此外， 本发明引进超像素级—像素 级两个分支的网络框架， 分别对高光谱影像的超 像素级特征和像素级特征进行提取， 两个分支以 互补的方式协同工作， 有效地提高了变化检测精 度。 实验结果表明， 本发明在 river、 farm和USA三 个数据集上的总体精度分别达到了96.91％、 98.40％和96.87％， Kappa系 数分别为79.57％、 96.14％和90.9 9％。 权利要求书5页 说明书14页 附图2页 CN 114663777 A 2022.06.24 CN 114663777 A 1.一种基于时空联合图注意机制的高光谱影像变化检测方法， 依次按照如下步骤进 行： 步骤1.分别对T1时相高光谱影像X1∈RH×W×C、 T2时相高光谱影像X2∈RH×W×C以及对应的 标签图g∈RH×W进行预处理 步骤1.1.将输入的T1时相高光谱影像X1∈RH×W×C与T2时相高光谱影像X2∈RH×W×C按通道 维连接， 得到T 3时相高光谱影像X3∈RH×W×2C， 其中H×W为影像的空 间尺寸大小， C 为其光谱 长 度； 步骤1.2.将T1、 T2两个时相的高光谱影像映射至二维空间RHW×C， 将T3时相的高光谱影 像映射至二维空间RHW×2C， 利用封装好的数据标准化方法sklearn.preprocessing.StandS caler对T1、 T2、 T3时相高光谱影像的二维空间投影进行标准化处理， 再分别映射回原三维 空间， 得到T1、 T2、 T3时相高光谱影 像数据块 和 步骤1.3.随机抽取标签图g中有标签的像素点的90％作为网络训练集， 再以剩余的 10％有标签的像素点作为网络验证集， 余下 所有无标签像素点即是检测集； 步骤1.4.构造与网络训练集、 网络验证集和检测集相对应的三个标签集： 分别创建一 个与标签图尺寸相同的一个全0元素的二 维图， 再分别依据网络训练集、 网络验证集和检测 集修正其元素值， 即当像素点为变化像素时， 二维 图中对应位置的值为1， 而当像素点为不 变化像素时， 二维图中对应位置的值为2， 最后将得到的二维图分别作为训练集标签图g1∈ RH×W、 验证集标签图g2∈RH×W和检测集标签图g3∈RH×W； 步骤1.5.对训练集标签图g1、 验证集标签图g2和检测集标签图g3分别进行哑变量编码， 即将标签图中的0编码为00， 将标签图中的1编码为10， 将标签图中的2编码为01， 进一步将 编码后的标签图分别映射至二维空间RHW×2， 从而得到训练集编码 标签图g′1、 验证集编码标 签图g′2和检测集编码标签图g ′3； 步骤1.6.根据训练集编码标签图g ′1、 验证集编码标签图g ′2和检测集编码标签图g ′3分 别制作训练集掩码、 验证集掩码和检测集掩码， 即如果标签图中某行存在不为0的元素， 则 将该行所有元素赋值为1， 分别得到尺寸为HW ×2的训练集掩码m1、 验证集掩码m2和检测集掩 码m3； 步骤2.超像素分割 步骤2.1.调用封装好的线性判别 分析方法LinearDiscriminantAnalysis利用训练集 标签图g1分别对T1、 T2、 T3时相高光谱影 像数据块 和 进行降维处 理； 步骤2.2.调用封装好的简单线性迭代聚类方法slic对步骤2.1的 降维结果进行超像素 分割， 超像素个数为n＝H ×W/c， 其中c为预定义的超像素分割尺度， 最终得到对应的分割结 果Seg1、 Seg2和Seg3， 对应的超像素块数分别为K1、 K2和K3； 步骤2.3.将分割结果Seg1、 Seg2和Seg3映射至一维空间， 得到Seg ′1、 Seg′2和Seg′3， 按照 公式(1)构建对应关联矩阵Q1、 Q2和Q3： 其中 为关联矩阵Qn位置(i， j)上的值， Seg ′ni表示Seg′n的第i个元 素； 步骤2.4.根据步骤2.2所得和步骤2.1所得， 对属于同一超像素块中的像素点值取平权　利　要　求　书 1/5 页 2 CN 114663777 A 2均， 作为该超像素块的像素值， 从而得到T1、 T2、 T3时相的超像素块像素值列表S1、 S2和S3； 步骤2.5.根据超像素块像素值列表S1、 S2和S3， 利用公式(2)构建时间邻接矩阵A1， 2、 A2 ， 1、 A1， 3、 A3， 1、 A2， 3和A3， 2， 其中(m， n)分别取(1， 2)、 (2， 1)、 (1， 3)、 (3， 1)、 (2， 3)和(3， 2)， 为Am， n的(i， j)位置 上的值， 和 分别为Sm和Sn的第i和j个元 素， σ 为参数， 取值 为10； 步骤2.6.调用封装好的数据标准化方法skle arn.preprocessing.scale对时间邻接矩 阵进行按行归一 化处理； 步骤2.7.根据步骤2.2所 得分割结果， 按公式(3)构建邻接掩码Mask1、 Mask2和Mask3： 其中 为Maskn矩阵中(i， j)位置上的值， 和 分别表示时相n的第i个超像素 块和第j个超像素块； 步骤2.8.根据超像素块像素值列表S1、 S2和S3和邻接掩码Mask1、 Mask2和Mask3， 利用公 式(4)得到空间邻接矩阵A1、 A2和A3： 其中 为矩阵An中(i， j)位置上的值； 步骤3： 设置网络迭代总次数T， 令epoc h＝1， 定义 最佳损失best_l oss＝9999； 步骤4.利用超像素级特 征提取模块进行 特征提取 步骤4.1.去噪 使用四组卷积层Conv2_0、 Conv2_1、 Conv2_2和Conv2_3对高光谱影像数据块 和 分别进行特征提取， 所述四组卷积层均包含1层 卷积操作、 1层BatchNorm归一化操作和1 层激活操作， 其中， 卷积层 含有128个大小为 1×1的卷积核， 每个卷积核以1个像素为步长进 行卷积运算， 并选用非线性激活函数LeakyReLU作为激活函数进行运 算： 先使用Conv2_0对 进行特征提取， 得到中间特征Y1∈RHW×128， 然后使用Conv2_1对Y1进 行特征提取， 得到特 征I1∈RHW×128； 先使用Conv2_0对 进行特征提取， 得到中间特征Y2∈RHW×128， 然后使用Conv2_1对Y2进 行特征提取， 得到特 征I2∈RHW×128； 先使用Conv2_2对 进行特征提取， 得到中间特征Y3∈RHW×128， 然后使用Conv2_3对Y3进 行特征提取， 得到特 征I3∈RHW×128； 步骤4.2.使用编码器按照公式(5)将特 征I1、 I2和I3编码为图结构； 权　利　要　求　书 2/5 页 3 CN 114663777 A 3