(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871312.4 (22)申请日 2022.07.22 (71)申请人 交通运输部路网监测与应急处置中 心 地址 100005 北京市东城区建国门内大街 11号 (72)发明人 路芳　黄宜婕　刘得云　倪艳　 吕洪燕　巫育权　李柏坤　 (74)专利代理 机构 广州凯东知识产权代理有限 公司 44259 专利代理师 姚迎新 (51)Int.Cl. G08G 1/01(2006.01) G08G 1/04(2006.01) H04N 7/18(2006.01)H04N 5/04(2006.01) (54)发明名称 一种基于雷达和视频融合的公路监控方法 及系统 (57)摘要 本发明公开了一种基于雷达和视频融合的 公路监控 方法及系统， 方法包括 设置雷达设备和 摄像设备的时间同步， 依据雷达设备获取第一结 构化数据， 依据摄像设备获取第二结构化数据， 数据融合模块依据时间戳， 以第二结构化数据为 准， 匹配第一结构化数据， 将已匹配的第一结构 化数据和第二结构化数据进行目标配对， 若目标 配对成功， 叠加第一结构化数据和第二结构化数 据的信息， 并将叠加 后的数据发送至数据分析模 块中， 否则， 将未目标配对成功的第一结构化数 据或第二结构化数据发送至数据分析模块中， 数 据分析模块依据接收到的数据进行交通事件判 断， 从而实现公路的监控。 权利要求书2页 说明书6页 附图1页 CN 115376312 A 2022.11.22 CN 115376312 A 1.一种基于雷达和视频融合的公路监控方法， 其特 征在于， 具体包括以下步骤： 步骤S1， 设置雷达设备和摄 像设备的时间同步； 步骤S2， 依据雷达设备获取第一结构化数据， 并发送至数据融合模块中； 步骤S3， 依据摄 像设备获取第二结构化数据， 并发送至数据融合模块中； 步骤S4， 数据融合模块依据时间戳， 以第二结构化数据为 准， 匹配第一结构化数据； 步骤S5， 将已匹配的第一结构化数据和第二结构化数据进行目标配对， 若目标配对成 功， 叠加第一结构化数据和第二结构化数据的信息， 并将叠加后的数据发送至数据分析模 块中， 否则， 将未目标配对成功的第一结构化数据或第二结构化数据发送至数据分析模块 中； 步骤S6， 数据分析模块依据接收到的数据进行交通事 件判断， 从而实现公路的监控。 2.根据权利要求1所述的一种基于雷达和视频融合的公路监控方法， 其特征在于， 所述 步骤S2具体包括以下步骤： 步骤S21， 获取 雷达设备原 始数据， 并解析生成初始结构化数据； 步骤S22， 将初始结构化数据进行坐标转换 得到第一结构化数据。 3.根据权利要求2所述的一种基于雷达和视频融合的公路监控方法， 其特征在于， 所述 步骤S3具体包括以下步骤： 步骤S31， 获取摄 像设备原 始数据， 并输入至深度学习网络模型进行目标识别； 步骤S32， 深度学习网络模型输出识别结果， 将识别结果进行解析生成第二结构化数 据。 4.根据权利要求3所述的一种基于雷达和视频融合的公路监控方法， 其特征在于， 所述 步骤S5中将已匹配的第一结构化数据和第二结构化数据进行目标配对， 具体包括以下步 骤： 步骤S51， 计算第一结构化数据目标和第二结构化数据目标二 者的IOU值； 步骤S52， 依据二 者的IOU值进行目标配对是否成功判断。 5.根据权利要求4所述的一种基于雷达和视频融合的公路监控方法， 其特征在于， 所述 步骤S6具体包括以下步骤： 步骤S61， 数据分析模块依据接收到的数据分析 该数据的类型、 属性和行为； 步骤S62， 依据该数据的类型、 属性和行为判断是否存在交通事件， 若是， 则进行交通事 件告警上报。 6.一种基于雷达和视频融合的公路监控系统， 其特 征在于， 包括： 设置模块， 用于设置雷达设备和摄 像设备的时间同步； 雷达设备， 用于获取第一结构化数据， 并发送至数据融合模块中； 摄像设备， 用于获取第二结构化数据， 并发送至数据融合模块中； 数据融合模块， 用于依据时间戳， 以第二结构化数据为 准， 匹配第一结构化数据； 目标配对模块， 用于将已匹配的第一结构化数据和第二结构化数据进行目标配对， 若 目标配对成功， 叠加第一结构化数据和第二结构化数据的信息， 并将叠加后的数据发送至 数据分析模块中， 否则， 将未目标配对成功的第一结构化数据或第二结构化数据发送至数 据分析模块中； 数据分析模块， 用于依据接收到的数据进行交通事 件判断， 从而实现公路的监控。权　利　要　求　书 1/2 页 2 CN 115376312 A 27.根据权利要求6所述的一种基于雷达和视频融合的公路监控系统， 其特征在于， 所述 雷达设备包括： 第一获取模块， 用于获取 雷达设备原 始数据； 第一解析模块， 用于将雷达设备原 始数据解析生成初始结构化数据； 转换模块， 用于将初始结构化数据进行坐标转换 得到第一结构化数据。 8.根据权利要求7所述的一种基于雷达和视频融合的公路监控系统， 其特征在于， 所述 摄像设备包括： 第二获取模块， 用于获取摄 像设备原 始数据； 深度学习网络模型， 用于对摄 像设备原 始数据进行目标识别， 并输出识别结果； 第二解析模块， 用于将识别结果进行解析生成第二结构化数据。 9.根据权利要求8所述的一种基于雷达和视频融合的公路监控系统， 其特征在于， 所述 目标配对 模块包括： 计算模块， 用于计算第一结构化数据目标和第二结构化数据目标二 者的IOU值； 第一判断模块， 用于依据二 者的IOU值进行目标配对是否成功判断； 叠加模块， 用于 叠加第一结构化数据和第二结构化数据的信息 。 10.根据权利要求9所述的一种基于雷达和视频融合的公路监控系统， 其特征在于， 所 述数据分析模块包括： 处理模块， 用于依据接收到的数据分析 该数据的类型、 属性和行为； 第二判断模块， 用于依据该 数据的类型、 属性和行为判断是否存在交通事 件； 告警模块， 用于进行交通事 件告警上报。权　利　要　求　书 2/2 页 3 CN 115376312 A 3