(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210214578.1 (22)申请日 2022.03.07 (71)申请人 中国矿业大 学 地址 221116 江苏省徐州市大 学路1号中国 矿业大学科研院 (72)发明人 潘杰　王旭　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 马玉雯 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) (54)发明名称 基于深度残差通道空间注意力的密集连接 网络的图像超像素重建方法 (57)摘要 本发明公开了一种基于深度残差通道空间 注意力的密集连接网络的图像超像素重建方法， 包括以下步骤： 输入待重构的低分辨率图像； 建 立对图像进行超分辨率重建的深度网络模型； 数 据的前向传播； 从输入图像提取的初始特征； 使 用通道空间平衡注意力模块得到权重输出； 通过 卷积层和像素混合层构成的上采样块细化低分 辨率图像， 生成与期望目标相似的高分辨率图 像。 该方法综合考虑了利用层与层之间的跳跃连 接改善卷积神经网络关于信息传输的问题， 并考 虑特征通道与空间之间的相互依赖关系和选择 性地强调信息特征， 使其共同作用于网络模型， 提高模型的超像素重构能力。 权利要求书3页 说明书11页 附图2页 CN 114841856 A 2022.08.02 CN 114841856 A 1.一种基于深度残差通道空间注意力的密集连接网络的图像超像素重建方法， 其特征 在于， 该方法包括以下步骤： (1)初始化： 通过对原始高分辨率图像进行双三 次下采样得到低分辨率图片， 再经过一 个或多个几何变换来 准备训练数据集； (2)输入待重构的低分辨率图片： 将低分辨率图片数据XLR输入网络， 并且输入预先设置 好的参数： 初始学习率 lr以及adam优化器系数β1, β2和 ε； (3)建立深度网络模型： 所述模型基于深度卷积神经网络建立， 包括卷积层构成的特征 提取网络、 用于特 征非线性映射的通道空间注意力机制网络和重建网络； (4)数据的前向传播： 特征提取映射网络对图像特征f进行密集提取， 之后分两路将各 自领域特征向网络更高层传播： 一路传给通道空间注意力网络进行特征 的提取和映射， 另 一路通过短跳跃连接进行特征信息传输， 最后通过上采样层将映射的特征重新组合形成 高 分辨率图像； (5)构造损失函数： 建立对深度网络模型参数进行 更新的损失函数； (5.1)计算原始高分辨率图像和由低分辨率图像经过超像素重构后得到的图像之间的 评测不同图像间的感知质量差异的函数L( θ )； (5.2)计算峰值信噪比P SNR； (5.3)计算度量图像之间结构相似性指标S SIM； (6)模型训练过程： 预设适合的batchsize值， 使用mini ‑batch随机梯度下降法进行参 数更新； 通过反向传播训练模型 的特征提取器提取特征、 用于特征非线性映射的通道空间 注意力机制网络进行对特 征值与用于 重建网络的上采样层。 2.根据权利要求1所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 步骤(1)中所述初始 化过程是指通过双三次下采样的方法将所用 数据集中的真实 图片下采样至所需的低分辨率图片， 并且通过随机裁剪、 旋转以及翻转来 丰富原数据集； 所述低分辨 率图片是 数据集中的真实图片下采样二 倍以及四倍所 得。 3.根据权利要求1所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 步骤(2)中所述的参数具体数值如下： 初始学习率lr＝10‑4， 并且 每经过200轮的训练后下降为原来的二分之一； adam优化器系数β1＝0.9, β2＝0.999， ε＝10 ‑8。 4.根据权利要求1所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 所述步骤(4)中的特征提取映射网络为通道空间注意力机制模 块， 该机制分为平均池化 通道注意力机制和最大池化空间注意力机制。 5.根据权利要求4所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 所述通道注意力机制的目的是将更大 的权重分配给输入特征映 射中的更重要的通道； 对于单图像超分辨率重建任务， 尽可能多的恢复高分辨率图像的高 频细节， 使用通道 注意力从输入的特 征图中寻找具有更重要信息的通道， 而在H*W维度的通道中， 使用平均池化来提取通道信息， 再将这些信息通过由两个逐点 卷积层组成的多层感知机； 平均通道 注意力模块公式ACAM如下:权　利　要　求　书 1/3 页 2 CN 114841856 A 2其中 表示具有1*1的卷积核的卷积层， 输入通道数为n且输出通道数为 其中r表 示输入通道和输出通道之间的比例因子 。 6.根据权利要求4所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 所述最大池化空间注意力机制为输入的特征向量的水平部分产 生权重， 目的是找到对高分辨率重 建有最大贡献的横向区域并且对这个区域施以更多的权 重， 这些区域包含通道中极值形式的高频细节， 因而使用最大池化； 最大池化空间注意力模 块公式MSAM: 其中PReLU和Sigmo id定义为: 其中a为常系数； 通道空间注意力机制公式CSAM: CSAM(x)＝ACAM(x) ·MSAM(x)×x                (5) 其中x是输入特征图； 由于ACAM和MSAM的输出具有不同的维数， 利用广 播乘法机制对其 进行融合， 然后利用元素乘法机制将其与输入的特征映射进行相乘， 从而得到最终的注意 力机制的结果。 7.根据权利要求1所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特征在于， 所述步骤(5.1)中评测不同图像间的感知质量差异的知觉损失函 数L( θ )的表达式为： 其中ILR(i,j,k)和 IHR(i,j,k)分别是输入低分辨率图像和原始高分辨率图像,HDRCSA是 生成模型的网络函数， h和w分别是高分辨率图像的高度和宽度， 3是图像的通道数， ||1是L ( θ )范数。 8.根据权利要求1所述一种基于深度残差通道空间注意力的密集连接网络的图像超像 素重建方法， 其特 征在于， 所述 步骤(5.2)中计算峰值信噪比P SNR的计算公式为： 其中xmax是参考图像中的最大像素值， 最小化知觉损失函数L( θ )的值等效于最大化峰 值信噪比P SNR的值， | |2表示2‑范数。 9.根据权利要求1所述种基于深度残差通道 空间注意力的密集连接网络的图像超像素 重建方法， 其特征在于， 所述步骤(5.3)中度量图像之间结构相似性指标SSIM由图像间的亮权　利　要　求　书 2/3 页 3 CN 114841856 A 3