(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210753212.1 (22)申请日 2022.06.29 (71)申请人 武汉兰丁智能医学股份有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区高新大道818号医疗器械园B7栋 B、 C、 D单元一、 二层 (72)发明人 冯晶　曹得华　李诚　严姗　刘赛　 李荣　段彦蓉　庞宝川　 (74)专利代理 机构 武汉维盾知识产权代理事务 所(普通合伙) 42244 专利代理师 刘翠霞 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/60(2017.01) G06T 7/62(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于并行神经网络的肺部细胞图像分类方 法 (57)摘要 本发明涉及基于并行神经网络的肺部细胞 图像分类方法， 包括： 获取肺部细胞图像， 对肺部 细胞染色、 标注； 对细胞图像的染色区域聚类， 消 除噪点， 分割出单个细胞图像； 计算细胞特征， 识 别细胞图像的噪声； 构建包含残差网络、 金字塔 网络和并行浅层特征通道的并行神经网络， 并进 行训练； 将待检测的肺部细胞图像输入到并行神 经网络， 根据并行神经网络的输出数据， 得到肺 部细胞图像分类结果。 本发明通过计算细胞特 征， 辨识区分图像中的细胞区域与噪声区域， 避 免图像噪声影 响肺部细胞图像分类的准确率； 本 发明的并行神经网络实现了细胞图像的浅层特 征和不同层次的深层特征融合， 进一步提高了分 类模型的分类准确率， 避免出现漏检或误检 。 权利要求书3页 说明书6页 附图4页 CN 115100473 A 2022.09.23 CN 115100473 A 1.基于并行神经网络的肺部细胞图像分类方法， 其特 征在于， 包括以下步骤： 步骤1： 获取肺部细胞图像， 对其中的肺部细胞进行染色、 标注； 步骤2： 对细胞图像的染色区域进行聚类， 消除噪点， 分割出 单个细胞图像； 步骤3： 根据细胞图像， 计算细胞 特征， 识别细胞图像的噪声； 步骤4： 构建包 含残差网络、 金字塔网络的并行神经网络， 并进行训练； 步骤5： 将待检测 的肺部细胞图像输入到并行神经网络， 根据并行神经网络的输出数 据， 得到肺部细胞图像分类结果。 2.根据权利要求1所述的肺部细胞图像分类方法， 其特 征在于， 步骤2包括以下子步骤： 步骤2.1： 使用k ‑means聚类方法对细胞图片中的染色区域进行像素聚类； 步骤2.2： 根据色调、 饱和度、 明度HSV参数对细胞图片进行区域提取， 以椭圆形状进行 形态学开操作， 消除噪点； 步骤2.3： 对细 胞图片进行分割， 每个分割细 胞单独生成512x512像素的图片， 并保持分 割后的细胞的相对位置关系不变。 3.根据权利要求2所述的肺部细胞图像分类方法， 其特征在于， 步骤2使用分水岭算法 对细胞图片进行细胞边 缘检测， 分割出 单个细胞图像， 具体过程如下： (1)将彩色图像转换为灰度图像， 采用大津阈值对像素点的灰度值进行分类， 将灰度图 二值化， 其中背景为0， 细胞核为1； (2)针对步骤(1)得到的背景区域可能会存在 噪点的情况， 采用3x3的矩形核对图片进 行两次开操作， 用以消除噪点； {3)对步骤(2)得到的图像， 采用8x8的矩形核进行两次膨胀操作， 即可得到确定的背景 区域； (4)对步骤(2)得到的图像， 计算白色区域每一个像素点到黑色区域的最近距离， 用这 个距离值替换像素值， 对其进 行二值处理， 设置得到确定的前景区域， 即分水岭算法中的种 子； (5)使用步骤(3)得到的背景区域减去步骤(4)得到的前景区域， 就得到了细胞边界存 在的区域， 称为未知区域； (6)根据确定的背景区域、 确定的背景区域和未知区域创建标记markers； (7)根据标记markers对原图像进行分水岭分割， 将背景区域加入种子区域， 从种子区 域开始， 均匀向四周漫水， 随着水平面不断增高， 为防止阈值像素点被淹没， 在这些像素点 上设置大坝， 最后所有的区域都在分水岭线上相遇， 这些 大坝就是图像分割的边界。 4.根据权利要求2所述的肺部细胞图像分类方法， 其特征在于， 步骤3中， 所述计算细胞 特征， 具体包括： 1)计算细胞的面积S； 2)计算细胞像素弧度长度， 计算得到细胞周长P； 3)使用最小外 接矩阵获取细胞长W和宽 H； 4)计算细胞矩形度， 细胞矩形度的计算公式如下： R＝S/(W* H) 式中R表示细胞矩形度； 5)计算细胞圆形度， 细胞圆形度的计算公式如下：权　利　要　求　书 1/3 页 2 CN 115100473 A 2C＝P*P/S 式中C表示细胞圆形度； 6)计算细胞偏心率， 细胞偏心率的计算公式如下： E＝W/H 式中E表示细胞偏心率。 5.根据权利要求2所述的肺部细胞图像分类方法， 其特征在于， 步骤4中， 所述残差网络 为ResNet5 0。 6.根据权利要求2所述的肺部细胞图像分类方法， 其特征在于， 步骤4通过数据增强获 取均衡的肺癌细胞、 正常细胞和噪声3类图像的数据集， 作为并行神经网络的训练数据， 用 于并行神经网络的训练。 7.根据权利要求2所述的肺部细胞图像分类方法， 其特征在于， 将训练数据中堆叠的无 法分割的多个细胞和图片边缘不完整细胞标记为噪声， 以提高并行神经网络对癌细胞的识 别准确率， 避免将质量 不好的细胞图像误检为癌细胞。 8.根据权利要求7所述的肺部细胞图像分类方法， 其特征在于， 步骤3中， 将分割得到的 未标记的细胞区域中影响癌细胞辨识的情形 标记为噪声， 包括： (1)对分割得到的细胞区域进行外接矩形操作， 根据外接矩形的位置， 判定分割的细胞 区域在图片中的位置， 若分割的细胞区域位于图片边缘， 则认定为不完整的细胞图像， 标记 为噪声； (2)对分割得到的细胞区域的面积大于8000像素点的部分认定为细胞堆叠区域， 标记 为噪声数据； (3)对分割得到的细胞区域偏心率大于2的部分标记为噪声数据； (4)对分割得到的细胞区域圆形度大于25的部分标记为噪声数据。 9.根据权利要求2 ‑8任意一项所述的肺部细胞图像分类方法， 其特征在于， 并行神经网 络包括残差网络ResNet5 0和特征金字塔网络FPN； 特征金字塔网络FPN包含融合层M2、 M3、 M4、 M5， 融合层M2、 M3、 M4、 M5分别对应残差块 ResBlock1、 ResBl ock2、 ResBl ock3、 ResBl ock4的最后残差层输出的特 征图； 特征金字塔网络FPN将Resnet50中每一个残差块提取到的特征融合， 构成了一组新的 特征p2， p3， p4， p5； 每 个新融合的特 征都包含了多尺度的信息， 并且维度都是1024； 融合层M5的输出结果由特征金字塔网络FPN的残差块4的输出结果经过1x1卷积得到， 1x1卷积操作主要是为了改变维度； 融合层M4的输出结果由融合层M5的输出结果经过两倍上采样并与特征金字塔网络FPN 的残差块3的输出 经1x1卷积 操作的结果相加得到； 融合层M3的输出结果由融合层M4的输出结果经过两倍上采样并与特征金字塔网络FPN 的残差块2的输出 经1x1卷积 操作的结果相加得到； 融合层M2的输出结果由融合层M3的输出结果经过两倍上采样并与特征金字塔网络FPN 的残差块1的输出 经1x1卷积 操作的结果相加得到； 为消除上采样带来的混叠 效应， 融合层M2、 M3、 M4、 M5分别经过3x3卷积处理得到了最终 提取的特征p2、 p3、 p4、 p5； 将这些特征组合构成特征池， 最后经过全连接层FC和分类器 Softmax输出3分类的结果， 输出 结果为正常细胞、 肺部癌细胞和噪声数据其中一种。权　利　要　求　书 2/3 页 3 CN 115100473 A 3