(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211101152.1 (22)申请日 2022.09.09 (71)申请人 厦门大学 地址 361000 福建省厦门市思明区思明南 路422号 (72)发明人 吴清锋　王硕诚　郑宇辉　周昌乐　 (74)专利代理 机构 厦门福贝知识产权代理事务 所(普通合伙) 35235 专利代理师 陈远洋 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/77(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双编码器的生成对抗网络图像翻 译方法 (57)摘要 本发明提出了一种基于双编码器的生成对 抗网络图像翻译方法， 包括： 构建双编码器生成 对抗网络模 型， 双编码器生 成对抗网络模型包括 生成器G、 判别器D以及编码器E， 判别器D包括编 码部分DE和分类部分DC； 从源域中采集样本图 像， 将样本图像分别输入至编码器E和判别器D的 编码部分DE， 获得第一编码特征和第二编码特 征； 将获得的第一编码特征和第二编码特征进行 拼接， 将拼接后的特征输入至生成器G中， 最终获 得翻译后的图像。 使用编码器和判别器的编码部 分对输入图像进行编码， 将得到的编码特征进行 拼接， 为了能将两种编码更好的结合在一起， 提 出一种新的归一化方法， 自适应多特征层归一化 方法(AdaMFLN)， 通过这种方式能够对图像更好 的解耦以及翻译。 权利要求书2页 说明书8页 附图4页 CN 115527042 A 2022.12.27 CN 115527042 A 1.一种基于双编码器的生成对抗网络图像翻译方法， 其特 征在于， 包括以下步骤： S1、 构建双编码器生成对抗网络模型， 所述双编码器生成对抗网络模型包括生成器G、 判别器D以及编码器E， 其中所述判别器D包括编码部分DE和分类部分DC； S2、 从源域中采集样本图像， 将所述样本图像分别输入至编码器E和判别器D的编码部 分DE， 获得第一编码特 征和第二编码特 征； 以及 S3、 将步骤S2获得的所述第一编码特征和第二编码特征进行拼接， 将拼接后的特征输 入至所述 生成器G中， 最终 获得翻译后的图像。 2.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 在 步骤S3中， 采用自适应多特征层归一化方法(AdaMFLN)将步骤S2获得的所述第一编码特征 和第二编码特征进行拼接， 其中， 所述自适应多 特征层归一化方法(AdaMFLN)是将不同的特 征结合起来， 自适应的进行层归一 化操作。 3.根据权利要求2所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 在 步骤S3中， 所述自适应多特征层归一化方法(AdaMFLN)的参数由编码特征图的全连接层动 态计算： 式中， xG和xD分别表示图像经过生成器G和判别器D所得到的编码， 分别为xG 和xD的层均值， 分别为xG和xD的层标准差； γ和β 是由全连通层产生的参数； 具体 来说， xG和xD首先分别执行AdaptiveAvgPool操作， 将得到的特征进行拼接， 然后通 过两个完 全连接的层得到γ和β 。 4.根据权利要求2所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 在 步骤S1中， 所述生成器G的残差模块加入了所述自适应多特征层归一化方法(AdaMFLN)， 所 述生成器G的上采样层以及卷积层后加入了所述自适应多特 征层归一 化方法(AdaMFL N)。 5.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 在 步骤S1中， 所述生成器G中使用ReLU作为激活函数， 所述判别器D使用斜率为0.2的leak ‑ ReLU作为激活函数。 6.根据权利要求1所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 在 步骤S1中， 所述双编码器生成对抗网络模型的损失函数表达式为 Loss＝ λ1Lgan+λ2Lcycle+λ3Lrecon 其中， Lgan表示对抗损失函数； Lcycle表示循环一致损失函数； Lrecon表示重建损失函数； λ1、 λ2、 λ3为超参数， 控制各个损失函数的权 重。 7.根据权利要求6所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 所 述对抗损失函数的表达式为 其中， X为 图像构成的源域， Y为 图像构成的目标域； x为从源域中采样的图像， y为从目 标域中采样的图像； Gx→y表示将来自源域的图像x经过生成器G转换为目标域的结果； Ey～Y表权　利　要　求　书 1/2 页 2 CN 115527042 A 2示图像y来自于目标域Y， Ex～X表示图像x来自于源域X； Dy(y)表示判别器对y的判别结果； Dy (Gx→y(E(x)⊙DE(x)))表示判别器对Gx→y(E(x)⊙DE(x))的判别结果； E(x)表示编码器E对x的 编码结果； DE(x)表示判别器D的编码部分DE对x的编码结果， ⊙表示拼接操作。 8.根据权利要求6所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 所 述循环一 致损失函数的表达式为 其中， x为从源域中采样的图像； Gx→y表示将来自源域的图像x经过生成器G转换为目标 域的结果 ； Gy→x表示将来自目标域的图像y经过生成器G转换为源域的结果 ； 表示编码器Ey对 的编码结果； 表示判别器D的编码部分 对x的编码结果； 表示 判别器D的编码部分 对 的编码结果； ⊙表示拼接操作； | ·|表 示l1正则。 9.根据权利要求6所述的基于双编码器的生成对抗网络图像翻译方法， 其特征在于， 所 述重建损失函数的表达式为 其中， Ex～X表示图像x来自于源域X； x为从源域中采样的一张 图像； Gy→x表示将来自目标 域的图像y经过生成器G转换为源域的结果； DE(x)表示判别器D的编码部分DE对x的编码结 果；⊙表示拼接操作； | ·|表示l1正则。 10.一种计算机可读存储介质， 所述介质中存储有计算机程序， 在所述计算机程序被处 理器执行时， 实施如权利要求1 ‑9中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115527042 A 3