(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111644950.4 (22)申请日 2021.12.2 9 (71)申请人 北京旷视科技有限公司 地址 100096 北京市海淀区西三 旗建材城 内建中路12幢一层1268号 申请人 北京迈格威科技有限公司 (72)发明人 梁致远　汪天才　 (74)专利代理 机构 北京钲霖知识产权代理有限 公司 11722 代理人 李英艳　李志新 (51)Int.Cl. G06V 10/26(2022.01) G06N 20/00(2019.01) (54)发明名称 一种语义分割模 型训练方法、 电子设备及存 储介质 (57)摘要 本公开是关于一种语义分割模 型训练方法、 电子设备及存储介质。 语义分割模 型训练方法包 括： 将训练图像输入至语义分割模型， 得到语义 分割特征以及语义分割预测结果； 基于树关系矩 阵， 构建所述训练图像的伪标签， 所述树关系矩 阵包括基于所述语义分割特征确定的第一树关 系矩阵以及基于所述训练图像确定的第二树关 系矩阵； 基于所述伪标签和所述语义分割预测结 果， 确定第一目标损失； 基于 所述第一目标损失， 对所述语义 分割模型进行训练， 直至所述语义分 割模型收敛。 通过本公开提供了一种高效快捷的 语义分割模型训练方式。 权利要求书2页 说明书13页 附图8页 CN 114399639 A 2022.04.26 CN 114399639 A 1.一种语义分割模型训练方法， 其特 征在于， 包括： 将训练图像输入至语义分割模型， 得到语义分割特 征以及语义分割预测结果； 基于树关系矩阵， 构建所述训练图像的伪标签， 所述树关系矩阵包括基于所述语义分 割特征确定的第一 树关系矩阵以及基于所述训练图像确定的第二 树关系矩阵； 基于所述伪标签和所述语义分割预测结果， 确定第一目标损失； 基于所述第一目标损失， 对所述语义分割模型进行训练， 直至所述语义分割模型收敛。 2.根据权利要求1所述的方法， 其特 征在于， 所述 树关系矩阵采用如下 方式确定： 基于所述语义分割特征构建第一平面网格图， 基于所述训练图像构建第二平面网格 图， 所述第一平面网格图中包括有与所述语义分割 特征中各像素点一一对应的节点， 所述 第二平面网格图中包括有与所述训练图像中各像素点一一对应的节点； 其中， 所述第一平 面网格图中包括的节 点之间通过无向边连接， 所述第二平面网格图中包括的节点之 间通过 无向边连接； 基于所述第 一平面网格图中各节点之间的相似度， 确定所述第 一平面网格图的第 一最 小生成树， 并基于所述第二平面网格图中各节点之间的相似度， 确定所述第二平面网格图 的第二最小生成树， 所述 最小生成树中包括无环路存在的节点以及无向边； 基于所述第 一最小生成树中包括的节点以及无向边， 确定所述语义分割特征对应的距 离矩阵， 并基于所述第二最小生成树中包括的节点以及无向边， 确定所述训练图像对应的 距离矩阵， 所述距离矩阵中节点间的距离为节点间最短路径上各个无向边对应的节点相似 度累加值； 将所述语义分割特征对应的距离矩阵进行非负映射， 得到所述第一树关系矩阵， 并将 所述训练图像对应的距离矩阵进行非负映射， 得到所述第二 树关系矩阵。 3.根据权利要求1或2所述的方法， 其特征在于， 所述基于树关系矩阵， 构建所述训练图 像的伪标签， 包括： 将所述第一树关系矩阵和所述第二树关系矩阵， 分别作为滤波核函数， 对所述语义分 割预测结果进行 滤波， 得到所述训练图像的伪标签。 4.根据权利要求3所述的方法， 其特征在于， 所述将所述第 一树关系矩阵和所述第 二树 关系矩阵， 分别作为滤波 核函数， 对所述语义分割预测结果进行 滤波， 包括： 对所述语义分割预测结果， 以所述第二 树关系矩阵为滤波 核函数进行初始滤波； 将初始滤波后的语义分割预测结果， 以所述第 一树关系矩阵为滤波核函数再次进行滤 波。 5.根据权利要求2所述的方法， 其特 征在于， 所述方法还 包括： 对所述语义分割特征进行尺寸调 整， 以使调整后的语义分割特征对应的分辨率与 所述 语义分割预测结果对应的分辨 率一致； 对所述训练图像进行尺寸调整， 以使调 整后的训练图像的分辨率与 所述语义分割预测 结果对应的分辨 率一致。 6.根据权利要求1所述的方法， 其特 征在于， 通过如下公式确定第一目标损失： 权　利　要　求　书 1/2 页 2 CN 114399639 A 2其中， 为第一目标损失函数， 所述Pl为所述语义分割预测结果中位置索引为l的像 素的预测结果， 为伪标签中位置索引为l的标签值， ΩU代表伪标签中未标注像素集， 为未标注像素的语义分割预测结果与伪标签之间的差值 绝对值。 7.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 获取所述训练图像的稀疏标签， 并根据所述稀疏标签， 使用交叉熵损 失函数计算所述 语义分割预测结果的第二目标损失； 基于所述第二目标损失对所述语义分割模型进行训练， 直至所述语义分割模型收敛。 8.一种图像分割方法， 其特 征在于， 所述方法包括： 将待分割图像输入至语义分割模型， 所述语义分割模型采用如权利要求1至7中任意一 项所述的方法预 先训练得到； 基于所述语义分割模型的输出 结果， 确定所述待分割图像的分割结果。 9.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为： 执行权利要求1至7中任意一项所述的语义分割模型训练 方法， 或执 行权利要求8所述的图像分割方法。 10.一种存储介质， 其特征在于， 所述存储介质中存储有指令， 当所述存储介质中的指 令由处理器执行时， 使 得处理器能够执行权利要求1至7中任意一项 所述的语义分割模型训 练方法， 或执 行权利要求8所述的图像分割方法。 11.一种计算机程序产品， 包括计算机程序， 所述计算机程序用于在被处理器执行时实 现权利要求1至7中任意一项所述的语义分割模型训练方法， 或实现权利要求8所述的图像 分割方法。权　利　要　求　书 2/2 页 3 CN 114399639 A 3