(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210738876.0 (22)申请日 2022.06.27 (71)申请人 广州巨湾技研有限公司 地址 511466 广东省广州市南沙区横沥镇 明珠一街1号310房-J016 (72)发明人 陈林昱　邓胜　陈彩凤　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 郑秋松 (51)Int.Cl. G01S 17/86(2020.01) G01S 17/931(2020.01) G01S 7/48(2006.01) G06V 10/80(2022.01) G06V 20/58(2022.01)G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/44(2022.01) (54)发明名称 一种适用 于端到端自动驾驶的感知及导航 定位融合的方法 (57)摘要 本发明公开了一种适用于端到端自动驾驶 的感知及导航定位融合的方法， 该方法的具体步 骤包括： 获取当前行驶路况的信息， 进行俯视投 影和栅格化处理， 输出栅格图， 将视觉识别的车 道信息和交通信号灯信息叠加到栅格图中， 再将 导航信息融合到栅格图中， 基于车道信息、 交通 信号灯信息和导航信息对栅格图进行重构处理， 在栅格图中填充对应栅格值， 获得多信息融合栅 格图。 本发明对原始图像进行栅格化处理， 提高 其融合度和能有效防止有用信息的丢失， 可以保 留较为原始的感知信息， 同时将导航定位等信息 进行融合和将无用的道路信息过滤掉， 适用于后 续神经网络的学习和训练， 提高自动驾驶规划决 策的准确性。 权利要求书2页 说明书6页 附图3页 CN 115144868 A 2022.10.04 CN 115144868 A 1.一种适用于端到端自动驾驶的感知及导航定位融合的方法， 其特征在于， 包括下述 步骤： 获取激光点云数据， 将激光点云数据参数归一化到车辆坐标系下， 得到车辆周围的点 云数据， 将车辆周围的预设范围内的点云数据栅格化， 去除地 面点云， 投影得到鸟瞰图； 鸟瞰图中设置填充单元格， 当检测到障碍物点云信 息则在填充单元格 内填入第 一栅格 值， 检测为底色时则填入第二 栅格值， 形成栅格图； 将视觉识别到的车道信息进行坐标转换， 转换为车辆坐标系下的坐标， 在栅格图上车 道信息的车辆坐标位置点处改变栅格值， 检测到车辆坐标位置点处有点云信息则不改变栅 格值， 维持点云信息对应的栅格值； 通过导航和定位信 息获得车辆所处的位置信 息和行驶信 息， 将栅格图上的当前车道收 缩到应驶入车道， 将当前车道与应驶入车道之外的区域填充为栅格障碍物， 得到多信息融 合栅格图。 2.根据权利要求1所述的适用于端到端自动驾驶的感知及导航定位融合的方法， 其特 征在于， 还 包括交通信号灯信息融合 步骤， 具体包括： 在栅格图中选取多个单元格， 预设各个单元格分别对应交通信号灯的颜色标识， 识别 当前交通信号灯的颜色信息， 并在对应单 元格中填入栅格值。 3.根据权利要求2所述的适用于端到端自动驾驶的感知及导航定位融合的方法， 其特 征在于， 还 包括停止线区域过 滤步骤， 具体包括： 当检测到当前车道前方为停止线， 且交通信号灯信息为停止指示状态时， 停止线之外 的区域填充为栅格障碍物。 4.根据权利要求1 ‑3任一项所述的适用于端到端自动驾驶的感知及导航定位融合的方 法， 其特征在于， 所述将栅格图上的当前车道收缩到应驶入车道， 所述收缩方式采用直线或 曲线连接 。 5.一种适用于端到端自动驾驶的感知及导航定位融合的系统， 其特征在于， 包括： 激光 雷达、 摄像头、 栅格化处 理模块、 栅格填充模块、 视 觉叠加模块、 导 航模块、 融合重构模块； 所述激光雷达用于 激光点云数据， 所述摄 像头用于采集车道信息和交通信号灯信息； 所述栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下， 得到车辆周围 的点云数据， 将车辆周围的预设范围内的点云数据栅格化， 去除地面点云， 投影得到鸟瞰 图； 所述栅格填充模块用于在鸟瞰图中设置填充单元格， 当检测到障碍物点云信 息则在填 充单元格内填入第一 栅格值， 检测为底色时则填入第二 栅格值， 形成栅格图； 所述视觉叠加模块用于将视觉识别 到的车道信 息进行坐标转换， 转换为车辆坐标系下 的坐标， 在栅格图上车道信息的车辆坐标位置点处改变栅格值， 若检测到车辆坐标位置点 处有点云信息则不改变栅格值， 维持点云信息对应的栅格值； 所述导航模块用于获取导 航和定位信息； 所述融合重构模块用于通过导航和定位信 息获得车辆所处 的位置信 息和行驶信 息， 将 栅格图上的当前车道收缩到应驶入车道， 将当前车道与应驶入车道之外的区域填充为栅格 障碍物， 得到多信息融合 栅格图。 6.根据权利要求5所述的适用于端到端自动驾驶的感知及导航定位融合的系统， 其特权　利　要　求　书 1/2 页 2 CN 115144868 A 2征在于， 还设有交通信号灯信息融合模块， 所述交通信号灯信息融合模块用于融合交通信 号灯信息， 具体包括： 在栅格图中选取多个单元格， 预设各个单元格分别对应交通信号灯的颜色标识， 识别 当前交通信号灯的颜色信息， 并在对应单 元格中填入栅格值。 7.根据权利要求5所述的适用于端到端自动驾驶的感知及导航定位融合的系统， 其特 征在于， 还设有停止线区域过滤模块， 所述停止线区域过滤模块用于过滤停止线外无用区 域， 具体包括： 当检测到当前车道前方为停止线， 且交通信号灯信息为停止指示状态时， 停止线之外 的区域填充为栅格障碍物。 8.根据权利要求5 ‑7任一项所述的适用于端到端自动驾驶的感知及导航定位融合的系 统， 其特征在于， 所述将栅格图上的当前车道收缩到应驶入车道， 所述收缩方式采用直线或 曲线连接 。 9.一种计算机可读存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时实现 如权利要求1 ‑4任一项所述 适用于端到端自动驾驶的感知 及导航定位融合的方法。 10.一种计算设备， 包括处理器和用于存储处理器可执行程序的存储器， 其特征在于， 所述处理器执行存储器存储的程序时， 实现如权利要求1 ‑4任一项所述适用于端到端自动 驾驶的感知 及导航定位融合的方法。权　利　要　求　书 2/2 页 3 CN 115144868 A 3