(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221023970 6.8 (22)申请日 2022.03.12 (71)申请人 中国科学院深圳先进技 术研究院 地址 518000 广东省深圳市南 山区西丽深 圳大学城学苑大道1068号 (72)发明人 杨俊　商琨　王海峰　梁栋　 (74)专利代理 机构 北京维正专利代理有限公司 11508 专利代理师 何星民 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 7/11(2017.01) (54)发明名称 预训练网络模 型的训练方法、 医学图像处理 方法和设备 (57)摘要 本申请提供一种预训练网络模型的训练方 法、 医学图像处理方法和设备， 涉及图像处理技 术领域， 在本申请中， 对多张预训练图像进行单 通道特征计算， 得到各个预训练图像对应的特征 图像， 根据各个预训练图像和各自对应的特征图 像对初始预训练网络模型进行训练， 得到预训练 网络模型， 本实施例将特征图像作为训练目标， 更加容易学习到预训练图像的通用特征， 增强预 训练模型的泛化能力， 得到的预训练网络模型的 视觉网络参数更加准确， 进而将预训练网络模型 的视觉网络参数作为图像处理模型训练的待训 练视觉网络的初始参数， 能够简化图像处理模型 的训练过程， 提高训练效率。 权利要求书2页 说明书15页 附图5页 CN 114782768 A 2022.07.22 CN 114782768 A 1.一种预训练网络模型的训练方法， 其特 征在于， 包括： 获取初始预训练网络模型以及多 张预训练图像， 所述初始预训练网络模型包括待训练 的视觉网络和待训练的第一 解码网络； 对各个所述预训练图像进行单通道特征计算， 得到各个所述预训练图像对应的特征图 像； 根据各个所述预训练图像和各自对应的特征图像对所述初始预训练网络模型进行训 练， 得到所述预训练网络模型； 其中， 所述预训练网络模型的视觉网络参数能够作为图像处理模型训练 的待训练视觉 网络的初始参数， 所述图像处 理模型用于对待处 理二维医学图像进行图像处 理。 2.根据权利要求1所述的预训练网络模型的训练方法， 其特征在于， 所述根据 各个所述 预训练图像和各自对应的特征图像对所述初始预训练网络模型进 行训练， 得到所述预训练 网络模型， 包括： 对各个所述预训练图像进行掩 模处理， 生成各个所述预训练图像对应的掩盖图； 将各个所述掩盖图输入所述初始预训练网络模型， 输出各个所述掩盖图对应的待比较 图像； 根据各个所述掩盖图对应的待比较图像和各自对应的特征图， 利用掩盖均 方差损失函 数进行计算， 得到损失值； 根据所述损 失值确定所述初始预训练网络模型是否收敛； 若是， 则将当前的初始预训 练网络模 型确定为训练完成的预训练网络模型； 若否， 则进 行迭代训练， 直至所述初始预训 练网络模型收敛， 得到所述预训练网络模型。 3.根据权利要求2所述的预训练网络模型的训练方法， 其特征在于， 所述对各个所述预 训练图像进行 单通道特 征计算， 得到各个所述预训练图像对应的特 征图像， 包括： 基于预设网格尺寸对每 个所述预训练图像进行网格划分， 得到多个分块； 对每个所述预训练图像的每一所述分块进行单通道特征的计算， 得到每个所述预训练 图像对应的特 征图； 相应的， 所述对各个所述预训练图像进行掩模处理， 生成各个所述预训练图像对应的 掩盖图， 包括： 基于预设网格尺寸对每 个所述预训练图像生成掩 模； 根据所述掩模对每个所述预训练图像进行掩模处理， 生成各个所述预训练图像对应的 掩盖图像。 4.根据权利要求1所述的预训练网络模型的训练方法， 其特征在于， 所述预训练图像为 预训练二维医学图像和/或自然图像； 所述预训练二维医学图像包括以下任意 一种或者多种： CT图像、 MRI图像。 5.根据权利要求1至4任一项所述的预训练网络模型的训练方法， 其特征在于， 所述对 各个所述预训练图像进行单通道特征计算， 得到各个所述预训练图像对应的特征图像单通 道特征， 包括： 对各个所述预训练图像进行目标特征计算， 得到各个所述预训练图像对应的特征图 像， 其中， 所述目标 特征包括： 哈尔特 征、 Gabor特 征、 LBP特 征中的任意 一种。 6.一种医学图像处 理方法， 其特 征在于， 包括：权　利　要　求　书 1/2 页 2 CN 114782768 A 2获取待训练的初始图像处理模型， 所述初始图像处理模型包括待训练 的视觉网络和待 训练的第二解码网络， 所述初始图像处理模型的待训练的视觉网络的初始 参数为所述预训 练网络模型的视觉网络的参数； 所述预训练网络模型是根据多张预训练图像以及各自对应 的特征图像得到的； 获取多个二维医学图像以及各自对应的标注信息； 根据多个二维医学图像以及各自对应的标注信息， 对所述初始图像处理模型进行训 练， 得到所述图像处 理模型； 获取待处理二维医学图像， 并利用所述图像处理模型对待处理二维医学图像进行图像 处理。 7.根据权利要求6所述的医学图像处理方法， 其特征在于， 所述利用所述图像处理模型 对待处理二维医学图像进行图像处 理， 包括： 将所述待处 理二维医学图像输入所述图像处 理模型的视 觉网络， 得到编码特 征图； 将所述编码特 征图输入所述图像处 理模型的第二 解码器， 得到图像处 理结果。 8.根据权利要求6所述的医学图像处理方法， 其特征在于， 所述图像处理包括目标识 别、 图像分割 、 图像分类中的任意 一种。 9.一种电子设备， 其特 征在于， 包括： 一个或者多个处 理器； 存储器； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行， 所述一个或多个程序配置用于： 执行根据权利要求1至5 任一项所述的预训练网络模型的训练方法， 或执行根据权利要求6至8任一项 所述的医学图 像处理方法。 10.一种计算机可读存储介质， 其特征在于， 计算机可读存储介质上存储有计算机程 序， 计算机程序被处理器执行时实现权利要求 1至5任一项 所述的预训练网络模 型的训练方 法， 或执行根据权利要求6 至8任一项所述的医学图像处 理方法。权　利　要　求　书 2/2 页 3 CN 114782768 A 3