(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210885402.9 (22)申请日 2022.07.26 (71)申请人 四川智慧高速科技有限公司 地址 610041 四川省成 都市武侯区武侯 祠 东街2号 申请人 西南民族大 学 (72)发明人 李凯　代超　雷秉川　胡骞　张骞　 任文龙　黎镇宇　袁一平　陈铤沛　 向文馗　唐东明　 (74)专利代理 机构 成都信博专利代理有限责任 公司 5120 0 专利代理师 舒启龙 (51)Int.Cl. G08G 1/01(2006.01) H04N 7/18(2006.01)G06T 5/00(2006.01) G06T 3/40(2006.01) (54)发明名称 一种基于监控摄像头组的图像融合与畸变 矫正的实现方法 (57)摘要 本发明公开了一种基于监控摄像头组的图 像融合与畸变矫正的实现方法， 具体为： 通过获 取到的杆位信息中的rtsp地址信息， 使用ffmpeg 对其视频流进行解码； 通过opencv对鱼眼视频进 行矫正处理， 如果有 标注信息则对其进行文字的 添加， 有划区信息则对于对应的视频进行截取处 理； 对于处理完的视频使用opengl进行渲染； 将 同一个点位不同的摄像头的三个视频拼接显示。 本发明最大限度的还原了真实场景， 最大程度的 满足了监控 人员的观看需求和降低了观看难度； 增加了图像标注， 提高了人机协同。 权利要求书2页 说明书5页 附图4页 CN 115376313 A 2022.11.22 CN 115376313 A 1.一种基于监控摄 像头组的图像融合与畸变矫 正的实现方法， 其特 征在于， 具体为： 步骤1： 通过获取到的杆位信息中的r tsp地址信息， 使用f fmpeg对其视频流进行解码； 步骤2： 通过opencv对鱼眼视频进行矫正处理， 如果有标注信息则对其进行文字的添 加， 有划区信息则对于对应的视频进行截取处 理； 步骤3： 对于处 理完的视频使用opengl进行矫 正； 步骤4： 图像融合， 将同一个点 位符合融合条件的三路监控视频融合； 步骤5： 图像显示， 通过计算判断选择合 适的显示模式。 2.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法， 其特征在于， 所述 步骤1具体为： 获取视频编码数据， 根据编码信息查找并打开解码器， 将输入数据循环输入到解码器 当中进行解码； 步骤a： FFmpeg解码模块首先调用流信息分析函数avformat _find_stream_info()将一 部分数据流传输进该函数中， 函数会通过输入的数据流得到相关的视频信息， 通过得到的 视频信息， 为A VStream结构体对象赋值， 并为 查找和打开 解码器操作提供 所需数据信息； 步骤b： 通过获取到的视频流信息， 为视频流查找相关的解码器并进行解码操作， 为解 码结构体对象缓存分配内存空间、 初始化操作， 之后打开解码器， 获取视频流数据， 进入解 码循环； 步骤c： 解码成功的数据则会被送入缓冲区。 3.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法， 其特征在于， 所述 步骤2具体为： 通过模拟镜头/相机组合在给定焦距下的物 理参数： 水平偏移量Fx、 竖直偏移量Fy和视 野FoV来校正鱼眼镜 头， 通过优化滚动ro ll、 俯仰pitc h、 偏航yaw、 Fx和Fy达 到校正目的； 步骤a： 对于视野fov是指图像的水平视场hFoV和垂直视场vFoV， 对于鱼眼图像我们通 过纵横比AspectRati o来近似鱼眼 图像： 两者的转换为： 步骤b： 在片元着色器FragmentShader部分引入这些参量对图片的渲染进行修正以达 到校正鱼眼 图像的目的， 修 正的公式为： vMapping.x＝vMap ping.x+((pow(vPos.y,2.0) ÷scale)×vPos.x÷scale)×(‑Fx) vMapping.y＝vMap ping.y+((pow(vPos.x,2.0) ÷scale)×vPos.y÷scale)×(‑Fy) vMapping＝vMap ping×uLensS.xy 其中， vMapping为输出的像素位置， vPos为输入的像素位置， scale为Fov参量， Fx和Fy 分别为水平偏移量和竖直偏移量。 4.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法， 其特征在于， 所述 步骤3具体为： 步骤a： opengl首先接收用户提供的几何数据包括顶点和几何图元， 并且将它输入到一权　利　要　求　书 1/2 页 2 CN 115376313 A 2系列着色器阶段中进行处 理， 包括： 顶点着色、 细分着色以及最后的几何着色； 步骤b： 将被送入光栅化单元rasterizer， 光栅化单元负责对所有剪切 区域clipping   region内的图元生成片元 数据， 然后对每 个生成的片元都执 行一个片元着色器。 5.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法， 其特征在于， 所述 步骤4具体为： 步骤a： 采取在一个杆位初始化的时候获取一帧三路监控视频的图像， 计算出三个监控 图像的单应性矩阵； 步骤b： 通过重叠区域加权融合的方法对视频图像进行融合， 重叠区域加权是指我们通 过单应性矩阵计算出监控图像的重叠区域， 然后通过加权叠加的方式是监控图像两两之间 的过渡更加平 滑。 6.根据权利要求1所述的一种基于监控摄像头组的图像融合与畸变矫正的实现方法， 其特征在于， 所述 步骤5具体为： 步骤a： 根据初始化时获取的一个杆位 三个图像的单应性矩阵判断是否满足融合条件； 步骤b： 将满足条件的图像进行融合显示， 不满足条件的图像根据监控区域位置进行3 宫格显示。权　利　要　求　书 2/2 页 3 CN 115376313 A 3