(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111400796.6 (22)申请日 2021.11.19 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 宋子鹏　林晨　曾国坤　 (74)专利代理 机构 深圳知帮办专利代理有限公 司 44682 代理人 李赜 (51)Int.Cl. G08G 1/07(2006.01) G08G 1/08(2006.01) G08G 1/01(2006.01) G06V 20/54(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 智能红绿灯车流调控系统 (57)摘要 本发明公开了智能红绿灯车流调控系统， 包 括通过摄像头收集获得的车流量密度以及当前 路况的数据而制定实时更新的红绿灯时长变化 策略， 还包括近端策略优化的强化学习算法， 本 发明能够结合路况的实际情况来对红绿灯的时 长进行调控， 进而帮助各个 路口的车流量密度达 到理论最大值， 独特的加入了时间作为算法输入 与调控的参数， 针对性的做出了对交通系统的优 化策略输出来达到应对每日交通流量的高峰期 和低谷期， 改善了因 高峰期到来但系统调节滞后 而造成的恶性循环的问题， 使得系统的应用性与 可靠性得到了大幅度的提升。 并使得近端策略优 化算法与curiosity模型相结合， 达到更加好的 策略决策效果， 提高优化效率。 权利要求书2页 说明书6页 附图4页 CN 114141028 A 2022.03.04 CN 114141028 A 1.智能红绿灯车流调控系统， 包括通过摄像头收集获得的车流量密度以及 当前路况的 数据而制 定实时更新的红绿灯时长变化策略， 其特征在于， 还包括近端策略优化的强化学 习算法， 所述近端策略优化 算法， 包括以下步骤： S1、 建立数据模型， 通过渲染引擎实构建的交通网路实时产生不同方向的来往车辆进 行仿真实验， 收集每一帧进程中车辆的各项 数据已经 红绿灯的交通拥挤情况作为策略的输 入， 采集各个路口的车流量密度Ei， 形成数据集E(E1,E2...En)以及车辆通行量Li和总车辆 L0， 形成数据集合θ(上一帧数据集合为θold)， 当前模型时间日期Di， 形成数据集D(D1, D2...Dn)； S2、 通行率与拥塞程度预估： 对各个路口的车辆数量做 处理， 得到当前的通行率与拥塞 程度预估函数； S3、 将各个路口的通行率与拥塞程度， 车辆通行量Li和总车辆L0为近端策略优化重要性 采样的观测变量， 并输入到 curiosity模型中， 得到 “奖励”输出控制量； S4、 根据控制量来动态实时调整当前红绿灯的时长， 并最终得到训练好的模型， 在 返回 到仿真模型中实际应用模型， 比较在相同时间内最终通过的总车辆L0的大小来判断模型的 效果， 并多此重复上诉步骤得到更多的模型 数据； S5、 分析模型 数据， 选择最优的模型。 2.根据权利要求1所述的智能红绿灯车流调控系统， 其特征在于， 所述步骤S1具体包括 以下步骤： S101、 建立交通模型， 交通模型采用的是以unity为核心的实时渲染应用 场景， 模拟了 一个环形的微型城镇的交通系统， S102、 在该系统中， 每隔一帧(大约25ms)会对全局进行一次θ采样， 该采样会采集出如 步骤S1所示的全部数据， 并将数据记录 输出。 3.根据权利要求1所述的智能红绿灯车流调控系统， 其特征在于， 所述步骤S2中的公式 为： 其中， Pt为通行率预测， PS为拥塞程度预测， 为历史时间预估分布参数。 4.根据权利要求1所述的智能红绿灯车流调控系统， 其特征在于， 所述步骤S3具体包括 以下步骤： S301、 重要性采样： 即近端策略优化强化学习过程中根据采样数据做出的参数更新调 整公式。 其中t为当前需要学习的actor模型， t'为当前与环境进行互动的示范actor模型； S302、 Curiosity模型： 即估测At'((Pti,Psi),ati)的取值的方法， 从ati和t预测出的t' 相差越大 给的奖励(reward)越大。权　利　要　求　书 1/2 页 2 CN 114141028 A 25.根据权利要求1 ‑4任意一项所述的智能红绿灯 车流调控系统， 其特征在于， 控制量输 出的计算公式为 6.根据权利要求5所述的智能红绿灯 车流调控系统， 其特征在于， 还包括城市仿真模型 所提供的数据。 7.根据权利要求1所述的智能红绿灯 车流调控系统， 其特征在于， 还包括基于图像分类 技术及强化学习算法的嵌入式路口红绿灯调控方法， 且依据所述近端 策略优化算法进 行分 析， 调控红绿灯时间以进行交通控制， 使得区域内的交通网络 达到最优的通行效率。权　利　要　求　书 2/2 页 3 CN 114141028 A 3