(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871578.9 (22)申请日 2022.07.22 (71)申请人 上海师范大学 地址 200234 上海市徐汇区桂林路10 0号 (72)发明人 朱苏磊　鲍施锡　李天辰　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 陈金星 (51)Int.Cl. G01C 21/00(2006.01) G01C 21/16(2006.01) G01C 21/20(2006.01) G06T 7/70(2017.01) G06T 7/73(2017.01) G08G 1/14(2006.01) (54)发明名称 基于UWB/IMU和视觉信息融合的智能泊车定 位系统及方法 (57)摘要 本发明涉及一种基于UWB/IMU和视觉信息融 合的智能泊车定位系统及方法， 用于停车场的车 辆定位， 包括中央控制模块、 UWB/IMU模块、 摄像 机单元、 信号传输与处理模块、 计算与定位显示 模块、 车辆轨迹分析模块和数据融合模块， 中央 控制模块包括车辆信息量化单元、 摄像机机构阈 值单元、 环境误差神经网络学习模型、 路径引导 单元和车位引导单元。 与现有技术相比， 本发明 在智能泊车过程中通过停车场端设备辅助， 实现 双模型融合定位， 设计了环境误差神经网络学习 模型消除误差提高精度， 根据车辆数量确定摄像 机偏转角度， 使得停车场摄像机构动态监控停车 场内每一辆行进车辆， 车辆在陌生停车环境中能 够实时高精度位置跟踪， 通过停车场与车辆协同 配合实现智能泊车过程。 权利要求书4页 说明书12页 附图4页 CN 115235452 A 2022.10.25 CN 115235452 A 1.一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特征在于， 用于停车场的 车辆定位， 包括中央控制模块、 UWB/IMU模块、 摄像机单元、 信号传输与处理模块、 计算与定 位显示模块、 车辆轨迹分析模块和数据融合模块， 所述中央控制模块包括车辆信息量化单 元、 摄像机机构阈值单 元、 环境误差神经网络学习模型、 路径引导单 元和车位引导单 元； 所述摄像机单元包括多个摄像机， 用于获取停车场当前图像信 息并实时跟踪目标车辆 及车辆所 处场景， 得到运动方程， 确定目标车辆的车辆位置信息， 所述停车场当前图像信息 包括车辆图像信息、 障碍物图像信息及周围车位和车道线图像信息； 所述车辆信 息量化单元用于将摄像机单元采集的图像信 息量化为车辆信 息， 确定摄像 机单元采集的当前场景 下的车辆数量， 并标定目标 车辆； 所述摄像机机构阈值单元用于根据当前场景下的车辆数量确定摄像机单元的偏转角 度阈值并控制摄 像机单元执行； 所述车辆轨迹分析模块用于根据连续 时刻的车辆图像信 息获取目标车辆的轨迹信 息， 并传输到中央控制模块， 供环境 误差神经网络学习模型 学习； 所述UWB/IMU模块用于获取目标车辆与UWB基站之间的距离以及车辆的运动信息， 从而 获取目标 车辆在停车场全域所处虚拟坐标信息及惯性前进方向； 所述环境误差神经网络学习 模型中以卷积神经网络建立环境误差感知深度学习 模型， 提取环境因素导 致定位偏差的误差因子， 帮助UWB/IMU模块及摄 像机单元纠正定位精度； 所述信号传输与处理模块用于传输UWB/IMU模块和摄像机单元的数据至中央控制模 块； 所述计算与定位显示模块用于根据UWB/IMU模块和摄像机单元的数据进行坐标计算及 视觉位置可视化跟踪显示； 所述数据融合模块用于融合UWB/IMU模块的虚拟坐标信息和摄像机单元的目标车辆的 车辆位置信息得到实时精确位置信息， 并将融合结果传输 到中央控制模块； 所述路径引导单 元用于根据停车场当前图像信息 筛选出通行 车辆最少的车道信息； 所述车位引导单 元用于根据停车场当前图像信息 筛选出空车位。 2.根据权利 要求1所述的一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特 征在于， 所述环境误差神经网络学习模型中以卷积神经网络建立环境误差感知深度学习模 型， 提取环 境因素导致定位偏 差的误差因子， 并逐层组合抽象生 成高层特征， 用来帮助UWB/ IMU模块纠正定位精度； 所述 提取环境因素导 致定位偏差的误差因子方式包括： 第n个固定UWB基站坐标Un＝(xn,yn,zn)为已知坐标； 待定位的车辆在t时刻的位置记为 Nt＝(xt,yt,zt)； t时刻UWB基站到目标 车辆的距离为： 其中 为此时误差因子； 将不同时刻误差因子代入 用以环境误差神经网络模型学习； 其中 是高层特征量； 为权和系数， 其中v为目标车辆行驶速度；权　利　要　求　书 1/4 页 2 CN 115235452 A 2Ti+1、 Ti对应目标车辆行进过程 中某一时刻及后一时间帧记录的时间， (Ti+1‑Ti)为行进的时 间差； θi为此时刻车辆轮转角度。 3.根据权利 要求1所述的一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特 征在于， 所述车辆信息量化单元用于将摄像机单元采集的图像信息量化为车辆信息， 确定 摄像机单元采集的当前场景 下的车辆数量， 并标定目标 车辆， 具体为： 车辆信息量化单元获取车辆 图像信息， 将图像信息量化成像素点所对应车辆的车型、 颜色及车牌号， 按顺序生成唯一字 符串码存储， 并为每台车辆生 成车辆数字ID； 车辆信息量 化单元获取目标车辆 当前时间帧车身图像， 对车身图像进行局部图像处理， 得到车身、 颜色 及车牌所对应的离散像素点， 再转换成离散的数量值， 生成对应时间内的唯一车辆数字ID， 为目标车辆进行身份标定 。 4.根据权利 要求1所述的一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特 征在于， 所述摄像机机构阈值单元用于根据当前场景下的车辆数量确定摄像机单元的偏转 角度阈值并控制摄 像机单元执行， 具体为： 第i台高精度摄像机与停车场空间坐标(x,y,z)对应的方位角为( αi, βi,γi)， (x,y,z) 对应的是第i台高精度摄像机在停车场中所处的空间坐标位置， 并根据此方位角采集到视 角范围内目标 车辆数为 Nk， 构建状态 矩阵方程： 其中， 摄像机解析算力为Rχ, ξ为摄像机构设定阈值， 当ξ≤Nk时， 摄像机机构阈值单元发 送偏转指令 到摄像机， 实现摄 像机角度偏转。 5.根据权利 要求1所述的一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特 征在于， 所述UWB/IMU模块用于获取目标车辆与UWB基站之间的距离以及车辆的运动信息， 从而获取目标 车辆在停车场全域所处虚拟坐标信息及惯性前进方向， 具体为： UWB/IMU模块获取目标车辆与基站之间的距离： 获取各个UWB基站在停车场内空间坐 标， 获取各个UWB基站与目标车辆 之间通过脉冲信号传递的时间， 计算各个基站与目标车辆 之间的距离， 从而可以计算得到目标 车辆在停车场内虚拟坐标信息： 其中， m和n用于标识不同的基站， lm,n表示UWB基站m和n之间的距离， t为脉冲传输时间； c为光速； (x,y,z)为目标 车辆在停车场内虚拟坐标； UWB/IMU模块获取车辆的运动信息： 通过IMU惯性模块获取加速度计数据E( ε )与陀螺仪 数据E( σ )， 从而获得目标 车辆的惯性行进方向。 6.根据权利 要求1所述的一种基于UWB/IMU和视觉信息融合的智能泊车定位系统， 其特 征在于， 所述数据融合模块用于融合UWB/IMU模块的虚拟坐标信息和 摄像机单元的目标车 辆的车辆位置信息， 并将融合结果传输 到中央控制模块， 具体为： 建立融合目标定位优化 函数： 权　利　要　求　书 2/4 页 3 CN 115235452 A 3