(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110378.8 (22)申请日 2022.09.13 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 陈滨　熊峰　邵艳利　魏丹　 王兴起　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 杨舟涛 (51)Int.Cl. G06T 5/50(2006.01) G06T 5/00(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的多焦点图像融合方法 (57)摘要 本发明公开了一种基于深度学习的多焦点 图像融合方法， 该方法首先将训练样本集和测试 样本集由RGB颜色 空间转换到YCbCr空间， 保留其 中的Y通道图像最为训练数据集和测试数据集。 然后根据拉普拉斯算子获得多焦点图像对的边 缘信息， 并根据最大选择策略获取融合图像标 签。 再将多焦点图像对输入到生成器融合网络中 获取融合图像。 除此之外， 根据设计的纹理增强 模块提取源图像的高频纹理信息并设计相应的 损失函数优化融合图像。 最后将融合图像标签和 融合图像输入到鉴别器中鉴别真假， 并根据鉴别 结果优化生成器。 本发明解决了多焦点图像融合 过程中纹理和边缘信息丢失的问题， 并且融合后 的图像可以用来做进一 步的图像处 理。 权利要求书2页 说明书8页 附图2页 CN 115358961 A 2022.11.18 CN 115358961 A 1.一种基于深度学习的多焦点图像融合方法， 其特 征在于包括如下步骤： 步骤1： 对训练样本图像和测试样本图像进行预处理和颜色空间转换， 得到训练数据集 和测试数据集； 步骤2： 利拉普拉斯算获取训练集中多焦点图像对的边缘信息imagep， 并根据最大选择 策略得到融合图像标签Ir； 步骤3： 构建深度 卷积神经网络模型和纹理增强模块； 并通过纹理增强模块对图像深层 特征提取， 用于获取图像的高频纹 理信息； 其具体步骤包括： (1)构建纹理增 强模型； (2)利用卷积操作获取输入图像的浅层特征 信息； (3)加入通道注意力机制重新缩放提取的特征通道， 并给每个通道分配不同的权重； (4)加入relu函数使 得一部分网络神经元的输出为0， 减少参数的相互依赖性， 缓解过拟合； (5)加入残差连接， 将提取的浅层信息作为输入与下一提取 阶段输出连接； (6)不 断叠加上 述5个步骤， 得到源图像的深度特 征信息； 步骤4： 重构图像， 使得图像恢复到原来的大小； 并利用步骤2所述的纹理增强模块得到 测试样本的高频信息集， 并根据高频信息集设计对应的损失函数； 所述的损失函数 的具体 公式如下： 其中W和H分别是图像的宽度和高度， l1和l2分别是训练数据 集中的多焦点图像对， If是 生成器输出的融合图像， 和 是源图像经过纹理增强模块增强后的梯度图， 其大小与融 合图像相同； 步骤5： 利用训练数据集训练步骤2所述的深度卷积神经网络模型， 得到训练后的深度 卷积神经网络模型； 步骤6： 基于训练后的深度卷积神经网络模型， 得到训练数据集的深度特征集， 并对所 述的深度特 征集进行co ncat融合， 得到融合后的灰度图； 步骤7： 对融合后的灰度图进行颜色空间转换 得到最终的融合图像。 2.根据权利要求1所述的一种基于深度学习的多焦点图像融合方法， 其特征是： 步骤1 中将训练样本集和测试样本集由RGB颜色空间转换到YCbCr颜色空间， 其中Y通道图像作为 训练数据集和 测试数据集。 3.根据权利要求1所述的一种基于深度 学习的多焦点图像融合方法， 其特征是： 所述的 深度卷积神经网络采用生成对抗网络架构， 包括生成器和 鉴别器； 生成器采用双通道来提 取特征， 输入为训练数据集中的多焦点图像对I1与I2， 输出为融合图像If； 鉴别器的输入为 融合图像If和融合图像标签Ir， 输出为概率标签； 在生成器和鉴别器之间建立对抗规则， 优 化融合图像。 4.根据权利要求1所述的一种基于深度 学习的多焦点图像融合方法， 其特征是： 所述的 重构图像， 使得图像恢复到原来的大小； 具体为： 使用1×1的卷积核将128通道特 征图恢复成单通道图像， 具体公式如下： FITEB＝constructor(F)权　利　要　求　书 1/2 页 2 CN 115358961 A 2其中FITEB纹理增强模块的输出 结果。 5.根据权利要求3所述的一种基于深度 学习的多焦点图像融合方法， 其特征在于： 所述 的将融合图像If和融合图像标签Ir输入到鉴别 器中进行鉴别区分， 在鉴别 器和生成器之间 建立对抗规则， 优化融合图像， 其所述步骤包括： (1)若鉴别器鉴别融合图像If为假图像， 则 通过步骤4 所述的损失函数最小化融合图像 If和融合图像标签 Ir之间的差距， 并将鉴别结果 反馈给生成器， 并自适应调整生成器的融合规则， 优化融合图像； (2)若鉴别器鉴别融合图 像If为真实图像， 则融合图像If为最优的融合图像。 6.根据权利要求1所述的一种基于深度 学习的多焦点图像融合方法， 其特征在于： 步骤 3中通过纹 理增强模块对图像深层特 征提取， 用于获取图像的高频纹 理信息； 3‑1.提取图像深层特 征； 首先使用3 ×3的卷积核将imagep由单通道转换为32个通道， 再使用3 ×3的卷积核将32 个通道转换为128个通道， 得到特 征集Origi n， 将上述卷积过程称为co nv操作； 3‑2.注意力分配权 重； 通道提取之后， 将每一个通道对应的特征图压缩成一个实数， 其实数集表示为{x1, x2,…x128}， 然后通过参数W为每一个特征通道 分配权重， W被学习用来显式地建模特征通道 间的相关性， 然后将分配到的权重应用于原 来的每个特征通道得到通道注 意力集Channel_ set,其表示 为{w1,w2,…w128}， 配合深度学习方法学习到不同通道的重要性； 3‑3.残差跳跃连接； 为每个特征通道分配到不同的权重后， 将特征集ori gin分配与 通道注意力集Channel_ Set相加， 得到纹 理增强模块每一层ITEB的输出： ITEB＝Origi n+Channel_set 其中ITEB是纹 理增强模块每一层得到的结果； 3‑4.提取图像更深层次的特 征图； 不断迭代纹 理增强块每一层ITEB过程， 得到提取 结果F， 具体公式表达如下： F＝ITEB(ITEB( …ITEB(Ip)))。权　利　要　求　书 2/2 页 3 CN 115358961 A 3