(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210255391.6 (22)申请日 2022.03.15 (71)申请人 北京万里红科技有限公司 地址 100089 北京市海淀区大柳树 富海中 心3号楼204室 (72)发明人 郝烔辉　李茂林　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 梁栋 (51)Int.Cl. G06T 3/40(2006.01) G06V 40/18(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) (54)发明名称 远距离虹膜图像的超分辨率重建模型及训 练方法、 重建方法、 设备及 介质 (57)摘要 本申请涉及一种远距离虹膜图像的超分辨 率重建模型及训练方法、 重建方法、 设备及介质， 其重建模型包括重建通道， 重建通道得到的图像 与原始的低分辨虹膜图像依次通过通道叠加、 1* 1卷积和pixelshuffle上采样层得到重建的超分 辨虹膜图像； 重建通道包括依次级联的一个初始 模块和至少一个并行模块； 初始模块和并行模块 均包括输入端和输出端， 输入端和输出端之间并 联有第一通道和第二通道； 第一通道由至少一个 可替换卷积级联而成； 第二通道由至少一个第一 卷积层、 上采样层、 下采样层以及至少一个第二 卷积层依次级联而成， 其中， 第一卷积层和第二 卷积层均为可替换卷积， 上采样层的倍数与下采 样层的倍数相同。 本申请具有提高远距离虹膜图 像分辨率的效果。 权利要求书3页 说明书9页 附图3页 CN 114663280 A 2022.06.24 CN 114663280 A 1.一种远距离虹膜图像的超分辨率重建模型， 其特征在于， 包括重建通道， 所述重建通 道得到的图像与原始的低分辨虹膜图像依次通过通道叠加、 1*1卷积和pixelshuffle上采 样层得到 重建的超分辨虹膜图像； 所述重建通道包括依次级联的一个初始模块和至少一个并行模块； 所述初始模块和所述并行模块均包括输入端和输出端， 所述输入端和所述输出端之间 并联有第一 通道和第二 通道； 其中， 所述第一 通道由至少一个可替换 卷积级联而成； 所述第二通道 由至少一个第一卷积层、 上采样层、 下采样层以及至少一个第二卷积层 依次级联而成， 其中， 第一卷积层和 第二卷积层均为可替换卷积， 所述上采样层的倍数与所 述下采样层的倍数相同； 所述初始模块的输入端的输入通道数为1， 输出端的输出通道为n， 所述并行模块的输 入端的输入通道数为2*n+1， 输出端的输出通道为2*n+1。 2.根据权利要求1所述的一种远距离虹膜图像的超分辨率重建模型， 其特征在于， 所述 可替换卷积包括输入端和输出端， 所述输入端和输出端之间并联有四个函数通道， 每个函 数通道均对应一个函数， 其中， 所述四个函数通道对应的函数分别为y1、 y2、 y3、 y4； 所述y1＝K1*x+b1， 其中所述x为普通的n*n卷积输入， 所述K1为卷积的权重， 所述b1为偏 置； 所述y2＝k23(k22(k21*x+b21)+b22)+b23， 其中所述x为输入， 所述k21为1*1卷积的权重， b21 为1*1的偏置， 所述 k22为n*n卷积的权 重， b22为n*n的偏置； 所述 其中， x是输入， i＝{1, 2,...,8}代表8个方向的算子， k31i为当前方向算子的1*1卷积的权重， b31i为当前方向算 子的1*1卷积的偏置， ksi为当前方向kirsch算子； S 为一个值为1的1* 1卷积， ωi为当前方向 的系数； b32i 为当前方向的偏置； 所述y4＝k43((klap·Slap)(k41*x+b41)+blap)+b43， 其中， x为输入， k41为第四部分1*1卷积 的权重， b41为1*1卷积的偏置， k lap为laplacian 算子， Slap是一个值 为1的1*1卷积； 基于所述y1、 y2、 y3、 y4的权重计算所述可替换卷积的权重 基于所述y1、 y2、 y3、 y4的替换卷积的偏置计算所述可替换卷积的偏置： 基于所述可替换 卷积的权 重以及所述可替换 卷积的偏置， 得到所述可替换 卷积公式： y＝Krep*x+Brep。 3.一种远距离虹膜图像的超分辨 率重建模型训练方法， 其特 征在于， 包括： 获取训练集、 验证集和测试集， 其中， 所述训练集、 验证集和测试集均包括多个虹膜图 像对， 所述虹膜图像对 包括低分辨 率虹膜图像IIr和高分辨 率虹膜图像Ihr； 将所述训练集输入如权利要求1至2任一项所述的远距离虹膜图像的超分辨率重建模 型中；权　利　要　求　书 1/3 页 2 CN 114663280 A 2通过所述远距离虹膜图像的超分辨率重建模型对所述训练集进行前向传播， 得到与 所 述训练集中的虹膜图像对一 一对应的超分辨 率图像Isr； 利用损失函数计算所述训练集中的所述虹膜图像对中的高分辨率虹膜图像Ihr与对应 的所述超分辨 率图像Isr之间的误差值； 基于所述 误差值对所述远距离虹膜图像的超分辨 率重建模型的超参数进行 更新； 将所述训练集输入更新超参数后的所述远距离虹膜图像的超分辨率重建模型中， 重复 所述通过所述远距离虹膜图像的超分辨率重建模型对所述训练集进行前向传播的步骤， 直 至所述误差值不再发生变化或处于预设区间， 且利用所述验证集和所述测试集对超分辨率 重建模型测试的峰值信噪比和结构相似性达到最优， 输出训练好的远距离虹膜图像的超分 辨率重建模型。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述误差值对所述远距离虹膜图 像的超分辨 率重建模型的超参数进行 更新， 包括： 将所述误差值反 向传播至所述远距离虹膜图像的超分辨率重建模型的网络结构中， 并 基于所述 误差值计算每 个节点的偏导数； 基于所述偏导数以学习率为步长调整卷积的权重， 并将调整后的卷积的权重更新为所 述超分辨 率重建模型的卷积的权 重。 5.根据权利要求 4所述的方法， 其特 征在于， 所述获取训练集、 验证集和 测试集， 包括： 获取多个 远距离虹膜图像； 分别对每个所述远距离虹膜图像的虹膜部分进行裁剪， 并将所述虹膜部分保存为高分 辨率虹膜图像Ihr； 分别对每个所述高分辨率虹膜图像Ihr进行双三次插值下采样n倍， 得到低分辨率虹膜 图像IIr， 其中， n＞1； 将所述高分辨率虹膜图像Ihr与所述高分辨率虹膜图像Ihr生成的低分辨率虹膜图像IIr 组成所述虹膜图像对； 将多个虹膜图像对划分为训练集、 验证集和 测试集。 6.根据权利要求5的方法， 其特征在于， 所述利用损失函数计算每个所述高分辨率虹膜 图像Ihr与每个所述高分辨 率虹膜图像Ihr对应的所述超分辨 率图像Isr之间的误差值， 包括： 对所述高分辨率虹膜图像Ihr以及所述高分辨率虹膜图像Ihr对应的超分辨率图像Isr进 行sobel提取； 对sobel提取后的高分辨 率虹膜图像Ihr以及超分辨 率图像Isr进行L1损失计算； 基于所述sobel以及所述 L1损失得到所述损失函数并计算所述 误差值。 7.根据权利要求6所述的方法， 其特征在于， 所述基于所述sobel以及所述L1损失得到 所述损失函， 包括： 对所述高分辨 率虹膜图像Ihr和超分辨 率图像Isr进行第一 L1损失； 对完成unpixelshuf fle操作后的所述高分辨 率虹膜图像Ihr进行第二 L1计算； 将预设的L1损失值与预设的边 缘损失的比例系数相加得到损失 公式： 权　利　要　求　书 2/3 页 3 CN 114663280 A 3