(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210233284.3 (22)申请日 2022.03.10 (71)申请人 武汉科技大 学 地址 430081 湖北省武汉市青山区和平大 道947号武汉科技大 学 (72)发明人 张永　苏立　郭峰　程骋　冉少林　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 程琛 (51)Int.Cl. G16H 50/20(2018.01) G06T 7/00(2017.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06K 9/62(2022.01)G06V 10/82(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) (54)发明名称 基于半监督学习和多尺度特征融合的辅助 诊断方法及装置 (57)摘要 本发明提供一种基于半监督学习和多尺度 特征融合的辅助诊断方法及装置， 该方法包括： 将待诊断CT 图像输入分类模型的多尺度特征融 合模块中， 得到所述待诊断CT图像的多尺度融合 特征； 将所述多尺度融合特征输入 所述分类模型 的分类模块， 得到所述待诊断CT图像的辅助医疗 诊断结果； 其中， 所述分类模型是基于第一训练 数据集， 进行半监督学习训练得到的； 所述第一 训练数据集包括有标签的第一样本CT 图像和无 标签的第二样本CT图像。 本发明实现在有效标注 数据量较少时， 可获得具有更高的泛化性与准确 性的分类模 型， 进而可快速准确地获取辅助医疗 诊断结果。 权利要求书2页 说明书15页 附图4页 CN 114649092 A 2022.06.21 CN 114649092 A 1.一种基于半监 督学习和多尺度特 征融合的辅助诊断方法， 其特 征在于， 包括： 将待诊断CT图像输入分类模型的多尺度特征融合模块中， 得到所述待诊断CT图像的多 尺度融合特 征； 将所述多尺度融合特征输入所述分类模型的分类模块， 得到所述待诊断CT图像的辅助 医疗诊断结果； 其中， 所述分类模型是基于第 一训练数据集， 进行半监督学习训练得到的； 所述第一训 练数据集包括有标签的第一样本 CT图像和无 标签的第二样本 CT图像。 2.根据权利要求1所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征 在于， 所述分类模型 是基于如下步骤训练得到的： 基于所述第一训练数据集， 对所述分类模型的初始模型进行半监督学习训练， 得到所 述分类模型的预训练模型； 将所述第 一训练数据集中的第 二样本CT图像输入所述预训练模型中， 获取所述第二样 本CT图像的辅助医疗诊断结果对应的模拟标签； 将所述第二样本 CT图像的模拟标签添加到所述第一训练数据集中； 对添加有所述模拟标签的所述第 一训练数据集中的样本CT图像进行图像混合， 得到第 二训练数据集； 基于所述第二训练数据集， 对所述预训练模型进行训练， 得到所述分类模型。 3.根据权利要求2所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征 在于， 所述对添加有所述模拟标签的所述第一训练数据集中的样本CT图像进行图像混合， 得到第二训练数据集， 包括： 对添加有所述模拟标签的所述第 一训练数据集中的样本CT图像进行数据增强， 得到增 强后的所述第一训练数据集； 对增强后的所述第一训练数据集进行处 理， 得到多组样本 CT图像对； 对于所述多组样本 CT图像对中的每一样本 CT图像对执 行以下操作： 计算当前样本 CT图像对中的任一样本 CT图像的类激活图； 根据所述类激活图， 确定所述任一样本CT图像 中对辅助医疗诊断结果的贡献度最高的 目标区域； 将所述目标区域粘贴到所述当前样本CT图像对中另一样本CT图像的相应位置， 得到所 述当前样本 CT图像对 对应的第三样本 CT图像； 根据所述目标区域的尺寸、 所述任一样本CT图像的标签， 以及所述另一样本CT图像的 标签， 得到所述第三样本 CT图像的第一标签； 根据所有样本CT图像对对应的第三样本CT图像以及所述第三样本CT图像的第一标签， 构建所述第二训练样本集。 4.根据权利要求3所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征 在于， 所述数据增强包括标准化、 几何变换、 随机调整亮度和随机调整对比度中的一种或多 种组合； 所述几何变换包括平 移、 翻转和旋转中的一种或多种组合。 5.根据权利要求3所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征 在于， 所述分类模型的损失函数 是基于第一损失函数和第二损失函数 联合构建生成；权　利　要　求　书 1/2 页 2 CN 114649092 A 2其中， 所述第一损失函数， 以所述第三样本CT图像和所述另一样本CT图像的多尺度融 合特征的相似度最小为目标； 所述第二损失函数， 以所述第 三样本CT图像的所述第 一标签和第二标签之间的差值最 小为目标； 所述第二标签是， 基于所述分类模型对所述第三样本CT图像的辅助医疗诊断结 果进行预测得到的。 6.根据权利要求2 ‑5任一所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征在于， 所述将所述第一训练数据集中的第二样本CT图像输入所述预训练模型中， 获 取所述第二样本 CT图像的辅助医疗诊断结果对应的模拟标签， 包括： 将所述第二样本CT图像输入所述预训练模型中， 获取所述第二样本CT图像属于各预设 医疗诊断类别的概 率； 对所述第 二样本CT图像属于各预设医疗诊断类别的概率进行最小化熵处理， 得到所述 第二样本 CT图像的最小化熵处 理结果； 根据所述 最小化熵处 理结果， 获取 所述第二样本 CT图像的模拟标签。 7.根据权利要求1 ‑5任一所述的基于半监督学习和多尺度特征融合的辅助诊断方法， 其特征在于， 所述多尺度特 征融合模块包括恒等映射模块； 其中， 所述恒等映射模块包括第一特 征提取单元、 特征融合单 元和第二特 征提取单元； 所述第一特征提取单元， 用于对所述待诊断CT图像进行多尺度特征提取， 得到所述待 诊断CT图像的多个不同尺度的特 征图； 所述特征融合单元， 用于对所述多个不同尺度的特征图进行融合， 得到所述待诊断CT 图像的融合特 征图； 所述第二特征提取单元基于非局部神经网络构建生成， 用于对所述融合特征图进行非 局部操作， 得到所述待 诊断CT图像的多尺度融合特 征。 8.一种基于半监 督学习和多尺度特 征融合的辅助诊断装置， 其特 征在于， 包括： 特征提取模块， 用于将待诊断CT图像输入分类模型的多尺度特征融合模块中， 得到所 述待诊断CT图像的多尺度融合特 征； 辅助诊断模块， 用于将所述多尺度融合特征输入所述分类模型的分类模块， 得到所述 待诊断CT图像的辅助医疗诊断结果； 其中， 所述分类模型是基于第 一训练数据集， 进行半监督学习训练得到的； 所述第一训 练数据集包括有标签的第一样本 CT图像和无 标签的第二样本 CT图像。 9.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至7任一项所 述基于半监 督学习和多尺度特 征融合的辅助诊断方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处理器执行时实现如权利要求1至7任一项所述基于半监督学习和多尺度特征融 合的辅助诊断方法。权　利　要　求　书 2/2 页 3 CN 114649092 A 3