(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211099106.2 (22)申请日 2022.09.09 (65)同一申请的已公布的文献号 申请公布号 CN 115187783 A (43)申请公布日 2022.10.14 (73)专利权人 之江实验室 地址 311121 浙江省杭州市余杭区之江实 验室南湖总部 (72)发明人 李劲松　赵艳霞　胡佩君　黄超　 田雨　 (74)专利代理 机构 北京志霖恒远知识产权代理 有限公司 1 1435 专利代理师 戴莉 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/52(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) 审查员 郑岩 (54)发明名称 基于联邦学习的多任务混合监督医疗图像 分割方法及系统 (57)摘要 本发明公开了一种基于联邦学习的多任务 混合监督医疗 图像分割方法及系统， 包括： 基于 各种弱监督数据以及完全监督和未标记数据的 数据采集模块； 基于联邦学习的第一阶段多任务 网络模型模块， 基于第二阶段伪标签生成模块， 基于第二阶段动态样本选择模块， 基于不同阶段 的联邦模型动态更新模块。 本发 明打破了单一标 签类型的限制， 提出一种基于联邦学习的多任务 混合模型架构， 通过检测任务辅助医学图像分割 任务联合各方数据进行协同建模， 确保患者隐私 的基础上， 打破各方的数据孤岛， 不仅充分地挖 掘多机构数据的潜能和深层价值， 而且充分利用 任务之间的关系进而挖掘有效的上下文特征， 实 现不同层次特征之间的信息互补， 进而提高模型 的准确性和鲁棒 性。 权利要求书5页 说明书11页 附图5页 CN 115187783 B 2022.12.27 CN 115187783 B 1.一种基于联邦学习的多任务混合 监督医疗图像分割方法， 其特 征在于， 包括： S1： 在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、 完全监督数据 和未标记数据， 所述弱监督数据包括边界框标注训练数据和图像级标注训练数据， 所述完 全监督数据为像素级标注训练数据， 将所述弱监督数据、 所述完全监督数据和未标记训练 数据作为相应医疗机构的源数据集； S2： 第一阶段， 基于联邦学习的多任务网络模型， 利用所述边界框标注训练数据和所述 像素级标注训练数据进行 预训练， 得到 两个不同的全局预训练联邦模型； S21： 构建多任务网络模型， 所述多任务网络模型包含采用CSP ‑ResNeXt结构的主干网 络、 采用ASPP和FPN的neck、 采用PAN融合多尺度信息特征图的边框检测 任务分支和 采用两 次上采样 操作的全局掩码分割任务分支； S22： 中心服务器端对所述多任务网络模型分别采用Xavier初始化和Kaiming初始化两 种不同的网络模型权 重初始化方法， 处 理得到两个不同的全局网络模型； S23： 各个客户端对所述像素级标注训练数据和所述边界框标注训练数据进行预处理 操作， 得到各自的第一阶段 预处理图像数据； S24： 中心服务器端将两个不同的全局网络模型分别发送给各个客户端， 各个客户端基 于本地的第一阶段预 处理图像数据进 行特征提取， 并根据馈送的第一阶段预处理图像数据 的类型， 选择对应的任务分支通过自适应监督学习个性和共性两方面的信息， 得到相 应任 务分支的对应输出； 所述S24中根据馈送 的第一阶段预处理图像数据的类型， 选择对应的任务分支通过自 适应监督学习个性和共性两方面的信息， 具体分为： 当客户端接收到的是像素级标注训练数据， 则冻结边框检测任务分支 的参数， 仅训练 两个不同的局部训练模型的主干网络、 neck和全局掩码分割任务分支的参数， 训练过程中 通过最小化以下损失函数进行监 督： （1） 其中， 是Dice损失函数， 表示像素级可用标签， 表示预测的分割图像结果， 和 分别 的元素个数和 的元素个数； 当客户端接收到的是边界框标注训练数据， 则冻结全局掩码分割任务分支 的参数， 仅 训练两个不同的局部训练模型的主干网络、 neck和边框检测任务分支的参数， 通过最小化 以下损失函数进行监 督： （2） 其中， ， 和 是调优超参数； 是分类损失采用的是二元交叉熵损失 （BC E loss） ， 公式如下 所示： （3）权　利　要　求　书 1/5 页 2 CN 115187783 B 2其中， 表示类别为c的预测概率值， c表示分类标签， S表示网络最后输出的特征图 尺寸为 B表示每个格子对应的锚框 （anchor） 的个数, 表示对于每一个网格单元( 的每一个锚框预测值( 有无目标； 1表示如果网格单元 中存在目 标， 则第 个锚框预测值对该 预测有效； 0表示网格单 元 中不存在目标； 是置信度损失， 采用二元交叉熵损失函数进行计算， 公式如下 所示： （4） 其中， 表示目标预测置信度, 表示没有目标 的锚框 （anchor） ， 是 ， 该 损失考虑了预测框和边界框之间的距离、 重 叠率、 anc hor尺寸和比例， 定义如下： （5） IOU是边界框回归损失中最常用的交并比， 可以获得预测框和真实框之间的距离， 从而 反映检测的效果， 计算公式如下： （6） 是衡量长 宽比一致性的参数， 定义 为： （7） 其中， 为边框预测结果， 表示边界框级可用标签， 为标注框的宽， 为标注 框的高， 为预测框的宽， 为预测框的高， 为两个中心点的欧式距离， 为标注框和预测框最小外 接矩形的对角线距离； S25： 各个客户端在经过预定次数的迭代之后均得到两个不同的局部训练模型， 并将所 述两个不同的局部训练模型回传给中心 服务器端， 中心 服务器端对各客户端回传的两个不 同的局部训练模型进 行聚合得到新的全局联邦模型， 并将所述全局联邦模 型发送给各个客 户端再次进 行训练， 重复所述训练、 整合步骤直到达到预定的第一阶段设定的预训练轮数， 得到两个不同的全局预训练联邦模型； S3： 第二阶段， 利用所述未标记训练数据、 所述图像级标注训练数据、 所述边界框标注 训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型， 通过迭代伪标权　利　要　求　书 2/5 页 3 CN 115187783 B 3