(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111240857.7 (22)申请日 2021.10.25 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 申请人 山东亚历山大智能科技有限公司 (72)发明人 周军　林乐彬　欧金顺　李留昭　 皇攀凌　赵一凡　孟广辉　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 代理人 朱忠范 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 20/64(2022.01) G06N 20/00(2019.01) G06T 7/80(2017.01) G06T 7/11(2017.01) G06T 7/136(2017.01) (54)发明名称 基于图像识别的三维点云聚类识别方法及 系统 (57)摘要 本公开提供了一种基于图像识别的三维点 云聚类识别方法及系统， 包括获取待识别区域的 图像数据及其对应的点云数据； 对 所述图像数据 及点云数据进行预处理； 基于所述图像数据及预 先训练的深度学习模型， 进行目标实例的识别； 获取目标 实例的深度数据， 基于所述深度数据确 定目标实例在点云中的投影位置； 在所述投影位 置， 基于聚类算法对所述点云数据进行可视化分 割， 获得聚类识别结果。 所述方案通过将光学传 感器和激光雷达相融合， 利用光学传感器易于获 取数据的特点， 采用基于深度学习的视觉识别和 深度定位的方案来实现三维点云的聚类识别， 提 高了聚类识别的准确性及稳定性。 权利要求书1页 说明书6页 附图4页 CN 113935428 A 2022.01.14 CN 113935428 A 1.一种基于图像识别的三维点云聚类识别方法， 其特 征在于， 包括： 获取待识别区域的图像数据及其对应的点云数据； 对所述图像数据及点云数据进行 预处理； 基于所述图像数据及预 先训练的深度学习模型， 进行目标实例的识别； 获取目标实例的深度数据， 基于所述深度数据确定目标实例在点云中的投影位置； 在所述投影位置， 基于聚类算法对所述 点云数据进行 可视化分割， 获得聚类识别结果。 2.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 所述 获取待识别区域的图像及其对应的点云数据， 采用具有特定相对位置的激光雷达和双目相 机。 3.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 所述 预处理包括对获得的图像数据进行去畸变处理得到矫正后的图像； 对所述点云数据进行 RANSAC分割方法去除地 面点得到滤波后的点云数据。 4.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 所述 预先训练的深度学习模 型， 采用YOLACT网络模型， 其训练过程为： 获取双目相机的单目 图像 数据， 并对所述单目 图像数据进 行目标实例标注， 形成训练集； 利用所述训练集对深度学习 模型进行训练， 利用训练好的深度学习模型进行目标实例的识别。 5.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 所述 目标实例的深度数据的获取， 基于目标实例的深度检测方法， 并对多帧图像的深度取均值， 获得目标实例的平均深度。 6.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 所述 投影位置的确定， 具体为： 基于目标实例的深度数据确定目标实例相对于采集装置的位置 信息， 基于所述 位置信息确定目标实例投影到点云数据中的位置 。 7.如权利要求1所述的一种基于图像识别的三维点云聚类识别方法， 其特征在于， 利用 深度学习模型对目标实例的识别结果包括目标实例在图像中的位置信息以及语义信息 。 8.一种基于图像识别的三维点云聚类识别系统， 其特 征在于， 包括： 数据获取 单元， 其用于获取待识别区域的图像数据及其对应的点云数据； 预处理单元， 其用于对所述图像数据及点云数据进行 预处理； 目标实例识别单元， 其用于基于所述图像数据及预先训练的深度学习模型， 进行目标 实例的识别； 投影位置确定单元， 其用于获取目标实例的深度数据， 基于所述深度数据确定目标实 例在点云中的投影位置； 聚类识别单元， 其用于在所述投影位置， 基于聚类算法对所述点云数据进行可视化分 割， 获得聚类识别结果。 9.一种电子设备， 包括存储器、 处理器及存储在存储器上运行的计算机程序， 其特征在 于， 所述处理器执行所述程序时实现如权利要求1 ‑7任一项所述的一种基于图像识别的三 维点云聚类识别方法。 10.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被 处理器执行时实现如权利要求 1‑7任一项所述的一种基于图像识别的三 维点云聚类识别方 法。权　利　要　求　书 1/1 页 2 CN 113935428 A 2基于图像识别的三维点 云聚类识别方 法及系统 技术领域 [0001]本公开属于多传感器融合的目标识别技术领域， 尤其涉及一种基于图像识别的三 维点云聚类识别方法及系统。 背景技术 [0002]本部分的陈述仅仅是提供了与本公开相关的背景技术信息， 不必然构成在先技 术。 [0003]随着高精度传感器技术和计算机视觉技术的快速发展， 基于图像的目标检测识别 日趋成熟。 然而在诸如自动驾驶和机器人部署上 的实际应用领域， 由于点云更加接近物体 的原始表征并且仅从图像中获取2D信息有较大的局限性， 人们更加关心三 维地图中的点云 的语义信息以及位置坐标， 因此对三维点云进行识别聚类 变得十分有必要。 [0004]点云聚类是将原始点云群根据一定的特征分割成一系列点云簇， 传统的点云聚类 方法有基于划分的K ‑means算法、 模糊c ‑均值算法， 基于密度的DBSCAN算法、 OPTICS算法， 基 于距离的欧式聚类方法等。 发明人发现， 传统聚类方法运行速度快， 可用于处理较大数据 量， 但缺乏点云的语义信息， 对于不同的环境要设定不同的阈值， 且不能保证相同的效果， 通用性较差。 在三维深度学习领域， 点云的聚类方法主要有PointNet， PointNet++， VoxelNet等。 但是这些方法需要提前获得大量数据进行训练， 但点云数据的获取及数据集 的制作比较困难， 检测准确度有限； 因此基于深度学习的点云聚类方法应用并不广泛。 发明内容 [0005]本公开为了解决上述问题， 提供了一种基于图像识别的三维点云聚类识别方法及 系统， 所述方案通过将光学传感器和激光雷达相融合， 利用光学传感器易于获取数据的特 点， 采用基于深度学习的视觉识别和深度定位的方案来实现三维点云的聚类识别， 提高了 聚类识别的准确性及稳定性。 [0006]根据本公开实施例的第一个方面， 提供了一种基于图像识别的三维点云聚类识别 方法， 包括： [0007]获取待识别区域的图像数据及其对应的点云数据； [0008]对所述图像数据及点云数据进行 预处理； [0009]基于所述图像数据及预 先训练的深度学习模型， 进行目标实例的识别； [0010]获取目标实例的深度数据， 基于所述深度数据确定目标实例在点云中的投影位 置； [0011]在所述投影位置， 基于聚类算法对所述点云数据进行可视化分割， 获得聚类识别 结果。 [0012]进一步的， 所述获取待识别区域的图像及其对应 的点云数据， 采用具有特定相对 位置的激光雷达和双目相机 。 [0013]进一步的， 所述预先训练的深度学习模型， 采用YOLACT网络模型， 其训练过程为：说　明　书 1/6 页 3 CN 113935428 A 3