(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211127974.7 (22)申请日 2022.09.16 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 章雨昂　仲维　刘晋源　王维民　 樊鑫　刘日升　罗钟铉　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/73(2017.01) G06T 17/05(2011.01) G06T 5/00(2006.01) (54)发明名称 基于双目立体相机 定位栅格地图的方法 (57)摘要 本发明了公开了基于双目立体相机定位栅 格地图的方法， 属于图像处理和计算机视觉领 域。 本发明使用可见光双目立体相机和红外双目 立体相机共同获取图像， 并通过双目立体相机获 取视差图以此 获取实时三维点云信息， 并构建了 高质量的栅格映射算法来实现3d点云到2d栅格 地图的映射， 包括根据先验信息实现了栅格高度 以及栅格阈值筛选算法； 结合空间几何知识添加 阻塞计数算法 处理障碍物中的遮挡问题； 通过栅 格后验概率去除占用栅格中可能存在的噪声干 扰； 使用目标检测算法辅助聚类目标物并估计目 标物的实际距离； 通过粒子滤波结合多帧信息优 化动态目标物； 将可见光相机与红外相机的得到 的栅格地图结果融合后输出。 权利要求书6页 说明书13页 附图4页 CN 115457132 A 2022.12.09 CN 115457132 A 1.基于双目立体相机 定位栅格地图的方法， 其特 征在于， 包括下列步骤： 1)获取三维点云信息： 1‑1)通过双目可 见光和红外相机分别采集真实场景的RGB图像及其对应的视 差图像； 1‑2)将可见光视差图像和红外视差图像进行融合， 融合方法为： 比较可见光视差图与 红外视差图中每 个视差的置信度， 保留二 者中置信度大的视 差值， 最后得到融合视 差图； 1‑3)根据融合视 差图生成三维点云， 转换到世界坐标系； 2)初始化 栅格地图： 2‑1)确定栅格的大小， 每 个格子的边长代 表实际距离信息； 2‑2)确定栅格对应真实场景的空间位置： 设置感知障碍物z方向上的范围包括最近和 最远距离、 障碍物在y方向上的范围包括最高高度hmax和最低高度hmin以及障碍物在x 方向的 计算范围寄视场角； 2‑3)初始化 栅格状态： 空闲； 3)三维点云映射到二维栅格： 3‑1)将生成的三维点云通过双边滤波进行噪点过滤， ， 将过滤后的三维点云映射到二 维栅格地图平面上； 3‑2)统计映射在栅格中的三维点数量及三维点的高度信息； 4)栅格高度和阈值筛 选： 4‑1)获取映射到每个栅格中的三维点高度， 针对每个栅格中的三维点高度进行排序， 去除排序后前10％和后10％的三维点高度， 对筛选后的三维点高度进行加权平均， 得到最 终的栅格高度hi； 4‑2)获取映射到每个栅格中的三维点数量numi， 计算每个栅格的映射阈值Ti， 公式如 下： 其中imgwidth为图像的宽度， hi为当前栅格的高度， Zk为第k行的栅格深度， θ为初始化设 置的视场角大小， α 为预先设置的平滑系数； 公 式(1)表示为第k行的栅格与该栅格的高度形 成的平面所代 表的像素 数量作为该栅格的数量阈值； 4‑3)比较每个栅格中的三维点数量numi和每个栅格的映射阈值Ti， 若numi＞Ti， 则栅格 为占据状态， 否则为空 闲状态； 4‑4)若栅格为占据状态， 则将栅格高度hi与初始化栅格设置的y方向范围比较， 若hmin< hi<hmax， 则将hi设置为当前栅格的高度值， 否则将当前栅格 状态设置为空 闲； 5)遮挡障碍物筛 选： 通过阻塞计数器处 理遮挡； 6)噪点剔除： 通过栅格后验概 率去除占据栅格中可能存在的噪声干扰； 7)聚类目标物： 通过目标检测算法辅助聚类目标物并估计其实际距离； 8)多帧融合： 通过 粒子滤波结合多帧信息优化动态目标物； 9)统计二维栅格中处于占据状态的栅格， 生成二维栅格地图。 2.根据权利要求1所述的基于双目立体相机定位栅格地图的方法， 其特征在于， 步骤2 ‑ 3)中初始化 栅格状态， 包括空 闲、 占据和阻塞。 3.根据权利要求1所述的基于双目立体相机定位栅格地图的方法， 其特征在于， 步骤5)权　利　要　求　书 1/6 页 2 CN 115457132 A 2中遮挡障碍物筛 选， 包括以下步骤： 5‑1)判断栅格是否属于阻塞状态： 阻塞栅格有三种情况： a.超出设定距离范围或离双目相机太近； b.栅格和原点中间 间隔一个或多个障碍物； c.同一障碍物中的后景障碍物的高度要低于前 景障碍物； 5‑2)找到初始的处于占据状态的栅格， 其高度记为gridhi； 5‑3)使用极坐标， 将第一个处于占据状态的栅格之后的同列的处于占据状态的栅格高 度gridhi‑1与gridhi比较， 当gridhi＞gridhi‑1时， 当前栅格的阻塞计数器都将增加1， 当阻塞 值大于阻塞阈值β 时， 将该栅格设置为阻塞状态， 即遮挡障碍物。 4.根据权利要求1所述的基于双目立体相机定位栅格地图的方法， 其特征在于， 步骤6) 中通过栅格后验概 率去除占据栅格中可能存在的噪声干扰， 包括以下步骤： 6‑1)计算当前三维点在世界坐标系下的z方向距离误差， 公式如下： 其中b为双目立体相机的基线， f是相机的焦距， z为三维点在世界坐标系下的z方向坐 标， δd为视差计算中的第三尺度因子； 6‑2)计算当前三维点在世界坐标系中的x方向距离误差， 公式如下： 其中d为世界坐标系下相机原点到该三维点的距离， x为在世界坐标系下三维点的x方 向坐标， δz为三维点在世界坐标系下的z方向距离误差； 6‑3)将当前三维点在世界坐标系下z和x方向距离误差转换为二维栅格地图的相对行 列误差， 公式如下： 其中δz和 δx为三维点在世界坐标系下 的z方向和x方向距离误差， dz和dx为栅格相对于 世界坐标系的分辨 率； 此发明 中为100mm； 6‑4)计算以当前栅格为中心， 在行列误差范围内的栅格占据概 率密度， 公式如下： 其中Poccupied代表当前栅格的占据概 率密度： Pfree代表栅格的空 闲概率密度： Pfree＝1‑Poccupied δrow和δcol为栅格的相对行列误差， gridNumoccupied代表占据状态的栅格数量，权　利　要　求　书 2/6 页 3 CN 115457132 A 3