(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210241165.2 (22)申请日 2022.03.11 (71)申请人 长春工业大学 地址 130012 吉林省长 春市延安大街20 55 号 (72)发明人 唐新星　刘新　刘忠旭　 (51)Int.Cl. G06V 10/44(2022.01) (54)发明名称 一种低纹理环境下基于点线特征的视觉 SLAM方法 (57)摘要 一种低纹理环境下基于点线特征的视觉 SLAM方法， 涉及计算机视觉技术领域。 本发明在 ORB‑SLAM2系统上进行扩展， 提取图像中的点特 征和线特征， 在普通的线特征基础上筛选出建筑 结构线特征， 得到点特征和建筑结构线特征； 利 用点特征和建筑结构线特征进行特征匹配， 使用 RANSAC算法剔除误匹配对； 根据相邻帧推导出的 重投影误差模 型估计相机位姿； 顺次执行后端优 化与回环检测线程， 从而提高系统在低纹理场景 中的稳定性和鲁棒性， 最终实现面向低纹理环境 下的基于点线特 征的视觉SLAM方法。 权利要求书2页 说明书5页 附图4页 CN 114627309 A 2022.06.14 CN 114627309 A 1.一种低纹 理环境下基于点线特 征的视觉SLAM方法， 其特 征在于， 包括如下步骤： 步骤(1)通过提取图像中的点特征和线特征， 在普通的线特征基础上筛选出建筑结构 线特征， 得到点特 征和建筑结构线特 征； 步骤(2)利用点特 征和建筑结构线特 征进行特征匹配， 使用RANSAC算法剔除误匹配对； 步骤(3)根据相邻帧推导出的重投影误差模型估计相机位姿； 步骤(4)顺次执行后端优化与回环检测线程， 从而提高系统在低纹理环境下的稳定性 和鲁棒性， 最终实现面向低纹 理环境下基于点线特 征的视觉SLAM方法。 2.根据权利要求1所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于： 步 骤(1)的具体过程如下： 首先提取图像中的ORB点特征和LSD线特征， 并计算特征的二进制描述子， 然后在普通 的线特征基础上， 筛选出符合曼哈顿世界主方向的建筑结构线 特征； 在线 特征筛选阶段， 本 方法通过消失点计算曼哈顿世界的主导方向， 筛选普通线 特征中与主导方向一致的结构线 特征； 在三维立体空间中， 一组平行 的直线不会相交， 或者可以说相交于同一无穷远点， 该 无穷远点在相 机的透视投影作用下可能会在图像平面中成像， 成像点称为消失点， 一个主 导方向上的所有建筑结构线条可以用一个消失点确定方向， 将线段中点与每一个消失点分 别连接， 得到相应的参考直线， 若线段与 某一条参考直线距离相近， 认为这条线段属于此消 失点， 同时属于此消失点对应的主导方向。 3.根据权利要求1所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于： 步 骤(2)的具体过程如下： 利用提取图像的ORB点特征和LSD线特征的描述子， 首先使用描述子进行特征匹配， 然 后在此基础上利用RA NSAC算法进行误匹配剔除； RA NSAC算法假设数据中包含正确数据和异 常数据(噪声)， 同时假设存在可以计算出符合正确数据的模型参数 的方法， 该算法具有随 机性和假设性的特点， 随机性体现在根据正确数据出现的概率去随机选取抽样数据， 随机 性模拟近似的正确结果， 假设性体现在假设选取出 的抽样数据都是正确数据， 用这些数据 去计算其他点， 得到最 好的模型参数。 4.根据权利要求1所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于： 步 骤(3)中根据相邻帧推导出的重投影误差模型估计相机位姿， 具体过程如下： 综合空间点特征和空间线特征的重投影误差， 在此基础上增加建筑结构线特征的重投 影误差， 可以得到三维空间中所有空间点、 空间线和结构线的误差和， 利用此误差和求解相 机位姿。 5.根据权利要求1所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于： 步 骤(4)中顺次执 行后端优化与回环检测线程的方法如下： 后端优化包括基于局部地图优化和基于回环检测优化； 局部地图的优化首先判断当前 帧是否为关键帧， 如果是则 建立与当前关键 帧相关联的局部地图， 然后根据局部地图建立 图优化模型来优化相 机的位姿； 基于回环检测优化首先判断当前关键 帧是否为回环帧， 如 果是则根据回环信息构建位姿图优化模型， 从而消除相机的累计误差 。 6.根据权利要求2所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于采 用公式(1)确定三维空间中的消失点： uTv＝0                                                       (1)权　利　要　求　书 1/2 页 2 CN 114627309 A 2其中， u表示 一个3×N的矩阵， N 为直线条数， v表示所求消失点的3 ×1齐次坐标。 7.根据权利要求2所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于采 用公式(2)计算结构线条在世界坐标系中的方向： η∞RwcK‑1v                                                   (2) 其中， η为结构线条在世界坐标系中的方向， 也是所说主导方向， Rwc为从相机坐标系到 世界坐标系的旋转矩阵， K‑1为相机内参的逆。 8.根据权利要求2所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于采 用公式(3)计算图像中的消失点： vi＝KRcwηi                                                    (3) 其中， vi为图像中的消影点， K为相机内参， Rcw为从世界坐标系到相机坐标系的旋转矩 阵， ηi为世界坐标系下的主导方向。 9.根据权利要求4所述的低纹理环境下基于点线特征的视觉SLAM方法， 其特征在于采 用公式(4)计算帧间重投影误差和： 其中， 相机的第k帧位姿为Tcw,k， 第k帧观测到的第i个空间点pw,i重投影误差为Epk,i， 第k 帧观测到第j条空间线Lw,j的重投影误差为Elk,j， 第k帧相 机维护的姿态为Rk， 第k帧相 机通 过结构化线估计的姿态为Zk， ∑p和∑l表示点和线的观测协方差， ρp、 ρl、 ρs为Huber鲁棒核 函数。权　利　要　求　书 2/2 页 3 CN 114627309 A 3