(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210719954.2 (22)申请日 2022.06.23 (71)申请人 东南大学 地址 211189 江苏省南京市江宁区东 南大 学路2号 (72)发明人 裴文江　蔡清　夏亦犁　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 徐激波 (51)Int.Cl. G06T 3/40(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于注意力机制的单图像超分辨率算 法 (57)摘要 本发明公开了一种基于注意力机制的单图 像超分辨率算法， 提出了一新的多尺度注意力残 差块， 并改进了残差里套残差的网络设计框架， 在其中引入了层间注意力。 在上述两个创新点的 基础上了提出了一个新的多尺度整体注意力网 络。 所述MSAB的具体特征如下： (1)在普 通的残差 块中引入了通道注意力机制和空间注 意力机制， 并采用双分支的学习策略， 将 两个注意力机制分 别用于不同的分支， 并在最后用1x1的卷积层进 行级联。 (2)在上述基础上引入了多尺度卷积， 采 用了3x3和5x5的两个 卷积块， 也是按照 双分支的 策略分别进行特征提取， 并用1x1的卷积层进行 级联。 本发明MSHAN网络在模型性能和参数数量 的综合度量下获得了 显著的结果。 权利要求书4页 说明书7页 附图3页 CN 115170392 A 2022.10.11 CN 115170392 A 1.一种基于注意力 机制的单图像超分辨率算法， 其特征在于： 包含三个步骤， 分别是浅 层特征提取操作、 中间特 征映射操作和上采样 操作； 1)浅层特征提取操作： 用X和YSR分别表示整个网络的输入和输出， 对输入的低分辨率图 片X， 采用一个3x3的卷积层去提取初始的浅层特 征， 如下公式所示： FIFE＝SIFENet(X) 其中SIFENet代表着浅层特征提取模块的函数， 提取的浅层 FIFE特征会作为初始的输入被 送入后面的特 征映射部分， 也会被用作全局特 征的学习； 2)中间特征映射操作： 中间特征映射的输入是浅层特征提取操作得到FIFE， 其操作的基 本单元是一个多尺度注意力残差块； 设所述多尺度注意力残差块的输入为H0， 输入首先会经过两个并行的3x3卷积模块和 5x5卷积模块 生成对应的输出， 如下公式所示： 其中 和 代表着3x3模块的第一个卷积层的权重和偏差， 和 代表着3x3 模块的第二个卷积层的权重和偏差； 同理， 和 代表着5x5模块的第一个卷积层的权 重和偏差， 和 代表着5x5模块的第二个卷积层的权重和偏差； δ表示ReLU激活函数， Hm3和Hm5分别代表3x3和5x5模块的输出； 在得到3x3模 块的输出特征Hm3和5x5模块输出特征Hm5后， 会送进 一个级联模 块去融合两 个不同尺度下卷积到的特征， 并通过1x1的卷积层去调整其维度大小以便送进后续模块进 行进一步特征提取， 过程如下： 其中 代表第一个级联模块的输出， [ ]代表级联操作， 和 代表第一个级联块中 1x1卷积层的权 重和偏差； 3)上采样操作： 上采样操作的输入是前一个中间特征映射操作的输出FMF， 然后使用亚 像素卷积作为最后一个上采样模块， 该模块通过像素平移将给定放大系数的比例采样转换 为上采样， 亚像素卷积运算是用来聚合低分辨率特征映射， 同时将特征映射到高维空间来 重建HR图像； 整个过程如下公式所示： YSR＝U↑(FMF) ＝U↑(FIFE+FN+FLA) 其中U↑表示亚像素卷积运算， YSR是重建的SR结果； 此外还引入了长跳跃连接， 以稳定所 提出的深度网络的训练， 亚像素 上采样块以FIFE+FN+FLA作为输入。 2.根据权利要求1所述的一种基于注意力 机制的单图像超分辨率算法， 其特征在于： 所 述步骤2)中， 有了中间第一个级联块的输出后， 应用注意力机制去进一步的加强那些富有 重要特征 的通道和空间位置的权重； 为此设计了两个并行分支， 一个通过通道注意力机制 去生成一个大小为Cx1x1权重系数去调整每个通道的特征数值； 另一个分支则利用空间注 意力机制去生成一个大小为1xHxW的权重系数去调整每个通道内空间位置的特征数值； 利 用该并行分支， 让网络利用通道和空间位置的相关性去近一步提取有效的特征表征从而提权　利　要　求　书 1/4 页 2 CN 115170392 A 2升网络的性能； 定义输入的特征 其中包含了C个特征映射， 然后每个特 征映射的大小为HxW。 3.根据权利要求2所述的一种基于注意力 机制的单图像超分辨率算法， 其特征在于： 所 述步骤2)中， 通道注意力 分支的提取过程： 首先通过全局平均池化层生成一个每通道的总 和数字特 征 μ∈RCx1x1， 平局池化层是作用于独立的特 征通道， 所以μ 的第c个通道 表示为： 其中 代表位置在(i， j)的第c个通道 的像素值； 随后数字特征 μ会送入一个激活 函数去进行卷积求和， 过程如下： 其中 和 分别是第一个卷积层的权重和偏差被用来通过缩放比例γ来改变通道 的数量； 同理， 参数为 和 的卷积层再将通道数量转换为原始的数量； σ 和 δ 分别代表着 sigmoid和ReLU激活函数。 此外， 每通道注意权重α通过sigmoid激活函数σ 来将值适应到0 ‑1之间， 并用它来重新 缩放输入 特征； 再得到通道注意力系数α后， 将其原始输入的特征进 行每元素相乘得到通道 注意力模块分支最终的输出： 其中HCA表示通道注意力模 块最后的输 出， FCA表示通道特征和其对应的通道权重的每通 道相乘； 第一个级联模块输出的特征 会被输入进另外一个空间注意力模块分支去进行空间 注意力调整特征； 空间注意力模块比通道注意力模块少一个全局平均的池化层， 因为空间 注意力模块不需要通过全局平均池化层来讲全局空间信息压缩到每个通道的统计描述符 中； 其余过程跟通道 注意力相似， 空间注意力掩膜系数如下公式所示： 其中σ 和 δ 分别代表着sigmoid和ReLU激活函数， 第一个权重为 和偏差为 的卷积层 被用来产生每通道的特征映射， 然后产生的特征映射和一个单一的注意映射相结合经过一 个权重为 和偏差为 的1x1的卷积层； sigmoid函数σ 将特征映射归一化到0 ‑1的范围内 去获得空间注意力自适应掩膜β； 卷积层的尺度因子γ用来方便维度的变化； 得到空间注 意 力掩膜系数后， 与输入特征 在空间位置上进行每元素相乘得到空间注意力模块分支最终 的输出： 其中HsA表示空间注意力模 块最后的输 出， FSA表示空间位置 特征和其对应的空间位置权 重的每元 素相乘。 4.根据权利要求3所述的一种基于注意力 机制的单图像超分辨率算法， 其特征在于： 所 述步骤2)中， 在得到通道注意力模块的输出HCA和空间注意力模块的输出HSA后， 会被当做输 入送进第二个级联模块去融合两个模块的空间特征， 并通过1x1卷积层改变其特征通道数 量来更好的在块间传输， 得到第二个级联模块的输出再与一开始MSAB块的输入进 行残差操 作就得到整个MSAB的输出， 如下公式所示：权　利　要　求　书 2/4 页 3 CN 115170392 A 3