(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210283973.5 (22)申请日 2022.03.21 (71)申请人 上海商汤临港智能科技有限公司 地址 200232 上海市自由贸易试验区临港 新片区泥城镇秋山路1775弄29、 30号2 楼01室 (72)发明人 李祥泰　程光亮　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 吴迪 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 图像分割方法、 车辆控制方法及装置 (57)摘要 本公开提供了一种图像 分割方法、 车辆控制 方法及装置， 其中， 图像分割方法包括： 获取待分 割的目标图像， 并对所述目标图像进行特征提 取， 得到所述目标图像对应的初始特征图； 分别 对所述初始特征图进行全景特征提取和部件特 征提取， 得到所述目标图像对应的全 景特征信息 和部件特征信息； 基于与所述全 景特征信息对应 的第一查询向量对所述全景特征信息进行特征 查询， 得到用于表征全景分割结果的第一查询特 征信息； 以及， 基于与所述部件特征信息对应的 第二查询向量对所述部件特征信息进行特征查 询， 得到用于表征部件分割结果的第二查询特征 信息； 基于所述第一查询特征信息和所述第二查 询特征信息， 确定所述目标图像的目标分割结 果。 权利要求书3页 说明书17页 附图5页 CN 114612667 A 2022.06.10 CN 114612667 A 1.一种图像分割方法， 其特 征在于， 包括： 获取待分割的目标图像， 并对所述目标图像进行特征提取， 得到所述目标图像对应的 初始特征图； 分别对所述初始特征图进行全景特征提取和部件特征提取， 得到所述目标图像对应的 全景特征信息和部件特 征信息； 基于与所述全景特征信 息对应的第 一查询向量对所述全景特征信 息进行特征查询， 得 到用于表征全景分割 结果的第一查询特征信息； 以及， 基于与所述部件特征信息对应的第 二查询向量对所述部件特征信息进行特征查询， 得到用于表征部件分割结果的第二查询特 征信息； 基于所述第 一查询特征信 息和所述第 二查询特征信 息， 确定所述目标图像的目标分割 结果。 2.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一查询特征信 息和所述第 二查询特征信息， 确定所述目标图像的目标分割结果， 包括： 基于所述第 一查询特征信 息和所述第 二查询特征信 息， 确定所述目标图像对应的全景 特征图； 以及， 基于所述第一 查询向量和所述第二 查询向量确定全景查询向量； 基于所述全景特征图对所述全景查询向量进行调整， 并基于调整后的全景查询向量重 新确定第一 查询向量和第二 查询向量； 基于重新确定的第 一查询向量重新确定第 一查询特征信 息， 以及基于重新确定的第 二 查询向量， 重新确定第二 查询特征信息； 基于重新确定的第一查询特征信息、 重新确定的第二查询特征信息、 重新确定的第一 查询向量和重新确定的第二查询向量， 返回执行确定全景特征图和全景查询向量的步骤， 直至满足预设条件； 将最后一 次确定的第 一查询特征信 息作为第 一目标查询特征信 息， 以及将最后 一次确 定的第二查询特征信息作为第二目标查询特征信息， 并基于所述第一目标查询特征信息和 所述第二目标查询特 征信息， 确定所述目标图像的目标分割结果。 3.根据权利要求2所述的方法， 其特征在于， 所述基于所述第 一查询特征信 息和所述第 二查询特征信息， 确定所述目标图像对应的全景 特征图， 包括： 基于所述第 一查询特征信 息和所述全景特征信 息， 确定所述目标图像对应的第 一特征 图； 以及， 基于所述第二查询特征信息和所述部件 特征信息， 确定所述目标图像对应的第二 特征图； 将所述第一特 征图和所述第二特 征图进行拼接， 得到所述全景 特征图。 4.根据权利要求2或3所述的方法， 其特征在于， 所述基于所述第一查询向量和所述第 二查询向量确定全景查询向量， 包括： 将所述第一 查询向量和所述第二 查询向量进行拼接， 得到所述全景查询向量。 5.根据权利要求2～4任一所述的方法， 其特征在于， 所述基于所述全景特征图对所述 全景查询向量进行调整， 包括： 基于所述全景查询向量和所述全景 特征图进行动态卷积处 理， 得到中间查询向量； 基于自注意力机制算法对所述中间查询向量进行处 理， 得到调整后的全景查询向量。 6.根据权利要求2～5任一所述的方法， 其特征在于， 所述基于调整后的全景查询向量权　利　要　求　书 1/3 页 2 CN 114612667 A 2重新确定第一 查询向量和第二 查询向量， 包括： 对调整后的全景查询向量进行拆分， 得到 重新确定的第一 查询向量和第二 查询向量。 7.根据权利要求2～6任一所述的方法， 其特征在于， 所述基于所述第一目标查询特征 信息和所述第二目标查询特 征信息， 确定所述目标图像的目标分割结果， 包括： 将所述第一目标查询特征信 息和所述第 二目标查询特征信 息进行融合处理， 得到所述 目标图像的目标分割结果。 8.根据权利要求1～7任一所述的方法， 其特征在于， 所述图像分割方法利用图像分割 网络完成。 9.根据权利要求8所述的方法， 其特征在于， 所述图像分割网络采用以下步骤训练得 到： 获取样本图像以及所述样本图像对应的样本全景分割图像和样本 部件分割图像； 将所述样本图像输入至待训练 的图像分割网络， 确定与 所述样本图像对应的第 一样本 查询特征信息和第二样本查询特 征信息； 基于所述第一样本查询特征信息、 所述第二样本查询特征信息、 所述样本全景分割图 像和所述样本部件分割图像， 确定本次训练的目标损失值， 并基于所述 目标损失值对所述 待训练的图像分割网络的网络参数进 行调整， 所述网络参数包括第一查询向量和 第二查询 向量。 10.根据权利要求9所述的方法， 其特征在于， 所述基于所述第 一样本查询特征信 息、 所 述第二样本查询特征信息、 所述样本全景分割图像和所述样本部件分割图像， 确定本次训 练的目标损失值， 包括： 基于所述第一样本查询特 征信息和所述样本全景分割图像， 确定全景分割损失； 以及， 基于所述第二样本查询特 征信息和所述样本 部件分割图像， 确定 部件分割损失； 以及， 基于所述第 一样本查询特征信 息和所述第 二样本查询特征信 息确定样本全景特征图， 并基于样本全景 特征图和所述样本图像对应的分类标签， 确定分类损失； 基于所述全景分割损失、 所述部件分割损失和所述分类损失， 确定所述目标损失值。 11.一种车辆控制方法， 其特 征在于， 包括： 获取自动驾驶车辆上部署的图像采集装置采集的待分割图像； 基于权利要求1～10任一所述的图像分割方法， 确定所述待分割图像对应的图像分割 结果； 基于所述图像分割结果对所述自动驾驶车辆进行控制。 12.一种图像分割装置， 其特 征在于， 包括： 第一获取模块， 用于获取待分割的目标图像， 并对所述目标图像进行特征提取， 得到所 述目标图像对应的初始特 征图； 提取模块， 用于分别对所述初始特征图进行全景特征提取和部件特征提取， 得到所述 目标图像对应的全景 特征信息和部件特 征信息； 查询模块， 用于基于与所述全景特征信 息对应的第 一查询向量对所述全景特征信 息进 行特征查询， 得到用于表征全景分割结果的第一查询特征信息； 以及， 基于与所述部件特征 信息对应的第二查询向量对所述部件特征信息进 行特征查询， 得到用于表征部件分割结果 的第二查询特征信息；权　利　要　求　书 2/3 页 3 CN 114612667 A 3