(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210742731.8 (22)申请日 2022.06.28 (71)申请人 上海高德威智能交通系统有限公司 地址 201821 上海市嘉定区云谷路59 9弄6 号620室J 1452 (72)发明人 方梓成　张经纬　赵显　 (74)专利代理 机构 北京中博世 达专利商标代理 有限公司 1 1274 专利代理师 申健 (51)Int.Cl. G06V 20/56(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/521(2017.01) G06T 7/60(2017.01) G01S 17/89(2020.01) (54)发明名称 一种目标检测方法及装置 (57)摘要 本申请提供一种目标检测方法及装置， 涉及 无人驾驶技术领域， 可以提升目标检测的准确 率。 具体方案包： 获取待测区域的视觉图像和点 云数据， 点云数据包括一个或多个雷达反射点； 将基于视觉图像提取出的一个或多个图像特征 与点云数据关联， 得到与每个图像特征相关联的 一个或多个雷达反射点； 根据与每个图像特征相 关联的一个或多个雷达 反射点， 确定每个图像特 征对应的雷达特征； 根据每个图像特征和每个图 像特征对应的雷达特征， 检测待测区域内的目标 对象的空间状态， 目标对象包括人体和/或物体 。 权利要求书4页 说明书17页 附图7页 CN 115131756 A 2022.09.30 CN 115131756 A 1.一种目标检测方法， 其特 征在于， 所述方法包括： 获取待测区域的视 觉图像和点云数据， 所述 点云数据包括 一个或多个雷达反射 点； 将基于所述视觉图像提取出的一个或多个图像特征与 所述点云数据关联， 得到与每个 图像特征相关联的一个或多个雷达反射 点； 根据所述与 所述每个图像特征相关联的一个或多个雷达反射点， 确定所述每个图像特 征对应的雷达特 征； 根据所述每个图像特征和所述每个图像特征对应的雷达特征， 检测所述待测区域内的 目标对象的空间状态， 所述目标对象包括人体和/或物体。 2.根据权利要求1所述的方法， 其特征在于， 所述将基于所述视觉图像提取出的一个或 多个图像特征与所述点云数据关联， 得到与每个图像特征相关联的一个或多个雷达反射 点， 包括： 对于所述一个或多个图像特征中的第 一图像特征， 根据 所述第一图像特征和所述点云 数据， 确定所述第一图像特 征与每一个雷达反射 点的关联概 率； 将所述关联概率大于或等于预设概率的雷达反射点确定为与所述第一图像特征相关 联的雷达反射 点。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一图像特征和所述点云数 据， 确定所述第一图像特 征与每一个雷达反射 点的关联概 率， 包括： 确定所述第一图像特 征与所述 点云数据中每一个雷达反射 点的相对位置关系； 确定所述第一图像特 征的深度信息和所述 点云数据中每一个雷达反射 点的深度信息； 根据所述相对位置关系、 所述第 一图像特征的深度信 息以及所述点云数据中每一个雷 达反射点的深度信息， 确定所述第一图像特 征与每一个雷达反射 点的关联概 率。 4.根据权利要求2或3所述的方法， 其特 征在于， 所述关联概 率满足以下关系： 其中， d为所述雷达反射点的深度信息， μd为所述第一图像特征的深度信息中的深度均 值， σd为所述第一图像特征的深度信息中的深度标准差， 所述视锥体用于指示所述基于所 述第一图像特 征对应的目标图相框与图像采集设备的位置确定出的空间区域。 5.根据权利要求1至3任一项所述的方法， 其特征在于， 所述根据所述每个图像特征和 所述每个图像特 征对应的雷达特 征， 检测所述待测区域内的目标对象的空间状态， 包括： 对于所述一个或多个图像特征中的第 一图像特征， 确定所述第 一图像特征和所述第 一 图像特征对应的雷达特 征的联合特 征； 根据所述第一图像特征和所述联合特征， 确定所述待测区域内的目标对象的空间状 态。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述第 一图像特征和所述联合特 征， 确定所述待测区域内的目标对象的空间状态， 包括： 根据所述第一图像特征， 确定所述待测区域内的目标对象的目标类别、 朝向角、 尺寸、 中心偏移量中的一项或多 项；权　利　要　求　书 1/4 页 2 CN 115131756 A 2根据所述联合特 征， 确定待测区域内的目标对象的速度信息和方向信息； 根据所述第一图像特 征和所述联合特 征， 确定待测区域内的目标对象的深度信息； 根据所述待测区域内的目标对象的目标类别、 朝向角、 尺寸、 中心偏移量、 速度信息、 方 向信息以及深度信息中的一项或多 项， 确定所述目标对象的空间状态。 7.根据权利要求6所述的方法， 其特征在于， 所述根据所述第一图像特征， 确定所述待 测区域内的目标对象的目标类别、 朝向角、 尺寸、 中心偏移量中的一项或多 项， 包括： 将所述第一图像特征输入第一预测模块， 得到所述待测区域内的目标对象的目标类 别、 朝向角、 尺寸、 中心偏移量中的一项或多 项； 其中， 所述第一预测模块包括一个或多个第一子模块， 一个第一子模块包括3 ×3卷积 核、 线性整流单元以及1 ×1卷积核， 所述一个第一子模块用于输出所述待测区域内的目标 对象的目标类别、 朝向角、 尺寸或者中心偏移量。 8.根据权利要求6所述的方法， 其特征在于， 所述根据所述联合特征， 确定待测区域内 的目标对象的速度信息和方向信息， 包括： 将所述联合特征输入第 二预测模块， 得到所述待测区域内的目标对象的速度信 息和方 向信息； 其中， 所述第二预测模块包括1 ×1卷积核、 线性整流单元、 1 ×1卷积核、 线性整流单元 以及1×1卷积核。 9.根据权利要求6所述的方法， 其特征在于， 所述根据所述第 一图像特征和所述联合特 征， 确定待测区域内的目标对象的深度信息， 包括： 将所述第一图像特征和所述联合特征输入第 三预测模块， 得到所述待测区域内的目标 对象的深度信息； 其中， 所述第三预测模块包括一个或多个第一子模块和第二子模块， 所述第一子模块 包括3×3卷积核、 线性整流单元以及1 ×1卷积核， 第二子模块包括 1×1卷积核、 线性整流单 元、 1×1卷积核、 线性整流单 元以及1×1卷积核。 10.一种目标检测装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待测区域的视 觉图像和点云数据； 特征关联模块， 用于将基于所述视觉图像提取出的一个或多个图像特征与 所述点云数 据关联， 得到与每 个图像特 征相关联的一个或多个雷达反射 点； 特征提取模块， 用于根据所述与所述每个图像特征相关联的一个或多个雷达反射点， 确定所述每 个图像特 征对应的雷达特 征； 目标检测模块， 用于根据所述每个图像特征和所述每个图像特征对应的雷达特征， 检 测所述待测区域内的目标对象的空间状态， 所述目标对象包括人体和/或物体。 11.根据权利要求10所述的装置， 其特 征在于， 所述特 征关联模块， 具体用于： 对于所述一个或多个图像特征中的第 一图像特征， 根据 所述第一图像特征和所述点云 数据， 确定所述第一图像特 征与每一个雷达反射 点的关联概 率； 将所述关联概率大于或等于预设概率的雷达反射点确定为与所述第一图像特征相关 联的雷达反射 点； 所述特征关联模块， 具体用于： 确定所述第一图像特 征与所述 点云数据中每一个雷达反射 点的相对位置关系；权　利　要　求　书 2/4 页 3 CN 115131756 A 3