(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111677833.8 (22)申请日 2021.12.31 (71)申请人 上海仙途智能科技有限公司 地址 201107 上海市闵行区申长路1398弄 1-4号阿里中心3号楼8楼 (72)发明人 黄超　姚为龙　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 骆苏华 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 20/00(2019.01) (54)发明名称 基于多任务学习网络的感知方法及装置、 存 储介质、 终端 (57)摘要 一种基于多任务学习网络的感知方法及装 置、 存储介质、 终端， 所述方法包括： 构建训练样 本集； 将已确定识别结果的样 本输入整个多任务 学习网络， 经训练确定优选的特征网络层参数和 初训练后的多任务学习网络； 固定特征网络层的 参数， 将已确定识别结果的样 本输入初训练后的 多任务学习网络， 经训练得到优选的调整网络层 参数和再训练后的多任务学习网络； 固定特征网 络层的参数和调整网络层的参数， 将已确定识别 结果的样本以及筛选样本输入再训练后的多任 务学习网络， 经训练得到调整后的多任务学习网 络； 将待感知图像输入所述调整后的多任务学习 网络， 得到感知结果。 本发明可 以有效提高多任 务学习网络的感知结果 准确度。 权利要求书3页 说明书11页 附图3页 CN 114519381 A 2022.05.20 CN 114519381 A 1.一种基于多任务学习网络的感知方法， 其特征在于， 所述多任务学习网络包括特征 网络层、 调整网络层、 任务头网络层， 其中， 所述调整网络层 包含多个调整网络， 所述任务头 网络层包 含多个任务头网络， 所述多个调整网络与所述多个任务头网络一 一对应； 所述方法包括： 构建训练样本集， 所述训练样本集中包含已确定识别结果的样本和未确定识别结果的 样本； 将所述已确定识别结果的样本输入整个多任务学习网络， 经训练确定优选的特征网络 层参数和初训练后的多任务学习网络； 固定所述特征网络层的参数为所述优选的特征网络层参数， 将所述已确定识别结果的 样本输入所述初训练后的多任务学习网络， 经训练得到优选的调整网络层参数和再训练后 的多任务学习网络； 固定所述特征网络层的参数为所述优选的特征网络层参数， 以及固定所述调整 网络层 的参数为所述优选的调整网络层参数， 将所述已确定识别结果的样本以及 对所述未确定识 别结果的样本进 行筛选后得到的筛选样本输入所述再训练后的多任务学习网络， 经训练得 到调整后的多任务学习网络； 将待感知图像输入所述调整后的多任务学习网络， 得到感知 结果。 2.根据权利要求1所述的方法， 其特征在于， 将所述已确定识别结果的样本输入整个多 任务学习网络， 经训练确定优选的特 征网络层参数和初训练后的多任务学习网络包括： 设置所述多任务学习网络的损失函数； 将所述已确定识别结果的样本输入整个多任务学习网络， 以对所述多任务学习网络进 行初训练， 直至所述多任务学习网络的损失函数收敛， 停止训练并得到所述优选的特征网 络层参数和所述初训练后的多任务学习网络 。 3.根据权利要求1所述的方法， 其特征在于， 将所述已确定识别结果的样本输入整个多 任务学习网络， 经训练确定优选的特 征网络层参数和初训练后的多任务学习网络包括： 设置所述多任务学习网络的损失函数； 将所述已确定识别结果的样本输入整个多任务学习网络， 以对所述多任务学习网络进 行初训练， 在初训练的过程中， 每 当各个任务头网络的权重值更新一次， 所述特征网络层的 参数也更新一次， 直至所述多任务学习网络的损失函数收敛， 停止训练并得到所述优选的 特征网络层参数和所述初训练后的多任务学习网络 。 4.根据权利要求3所述的方法， 其特 征在于， 所述多任务学习网络的损失函数为： 其中， Loss表示整个多任务学习网络的损失函数值， 表示第k个任务头网络 的权重 值， k表示任务头网络的个数， Lk表示第k个任务头网络的损失函数值。 5.根据权利要求1所述的方法， 其特征在于， 固定所述特征网络层的参数为所述优选的 特征网络层参数， 将所述已确定识别结果的样本输入所述初训练后的多任务学习网络， 经 训练得到优选的调整网络层参数和再训练后的多任务学习网络包括： 设置各个调 整网络的损失函数， 以及固定所述特征网络层的参数为所述优选的特征网权　利　要　求　书 1/3 页 2 CN 114519381 A 2络层参数； 将所述已确定识别结果的样本输入所述初训练后的多任务学习网络， 以对所述初训练 后的多任务学习网络进行再训练， 直至所述各个调整网络的损失函数全部 收敛， 停止训练 并得到所述优选的调整网络层参数和所述再训练后的多任务学习网络 。 6.根据权利要求1所述的方法， 其特征在于， 采用下述方法， 对所述未确定识别结果的 样本进行筛 选得到所述筛 选样本包括： 将所述未确定识别结果的样本输入所述再训练后的多任务学习网络， 并输出各个未确 定识别结果的样本的感知结果和各个感知结果的置信度； 选取置信度大于预设置信度阈值的样本， 作为所述筛 选样本。 7.根据权利要求1所述的方法， 其特征在于， 固定所述特征网络层的参数为所述优选的 特征网络层参数， 以及固定所述调整网络层的参数为所述优选的调整网络层参数， 将所述 已确定识别结果的样本以及对所述未确定识别结果的样本进行筛选后得到的筛选样本输 入所述再训练后的多任务学习网络， 经训练得到调整后的多任务学习网络包括： 设置各个任务头网络的损失函数， 以及 分别固定所述特征网络层的参数为所述优选的 特征网络层参数， 固定所述调整网络层的参数为所述优选的调整网络层参数； 将所述已确定识别结果的样本以及所述筛选样本输入所述再训练后的多任务学习网 络， 以对所述再训练后的多任务学习网络进行训练， 直至所述各个任务头网络的损失函数 全部收敛， 停止训练得到所述调整后的多任务学习网络 。 8.根据权利要求1所述的方法， 其特征在于， 所述多任务学习网络满足以下一项或多 项： 所述特征网络层中的特 征网络结构采用单步策略算法 yolo中的暗网dark net结构； 所述调整网络层中的各个调整网络的结构采用瓶颈层bot tleneck网络结构。 9.根据权利要求1所述的方法， 其特 征在于， 所述任务头网络层包 含以下一项或多 项： 语义分割头、 低矮障碍物分割头、 目标检测头、 垃圾检测头、 红绿灯检测头 。 10.根据权利要求9所述的方法， 其特 征在于， 所述任务头网络满足以下一项或多 项： 所述语义分割头采用分割面具SegMaskP SP结构； 所述低矮障碍物分割头采用分割面具SegMaskP SP结构； 所述目标检测头采用全卷积网络FCN结构； 所述垃圾检测头采用全卷积网络FCN结构； 所述红绿灯检测头采用全卷积网络FCN结构。 11.一种基于多任务学习网络的感知装置， 其特 征在于， 包括： 训练样本集构建模块， 用于构建训练样本集， 所述训练样本集中包含已确定识别结果 的样本和未确定识别结果的样本； 初训练模块， 用于将所述已确定识别结果的样本输入整个多任务学习 网络， 经训练确 定优选的特 征网络层参数和初训练后的多任务学习网络； 再训练模块， 用于固定所述特征网络层的参数为所述优选的特征网络层参数， 将所述 已确定识别结果的样本输入所述初训练后的多任务学习网络， 经训练得到优选的调整网络 层参数和再训练后的多任务学习网络； 网络调整模块， 用于固定所述特征网络层的参数为所述优选的特征网络层参数， 以及权　利　要　求　书 2/3 页 3 CN 114519381 A 3