(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211092215.1 (22)申请日 2022.09.08 (71)申请人 松立控股集团股份有限公司 地址 266000 山东省青岛市 市南区宁 夏路 288号软件园6号楼1 1层 (72)发明人 刘寒松　王永　王国强　刘瑞　 李贤超　 (74)专利代理 机构 青岛高晓专利事务所(普通 合伙) 37104 专利代理师 黄晓敏 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于夜间场景的车辆 检测方法 (57)摘要 本发明属于车辆检测技术领域， 尤其涉及一 种基于夜间场景的车辆检测方法， 先将夜间图像 增强和车辆检测任务统一在一个端到端的联合 优化框架中， 夜间图像增强使用动态滤波网络来 生成特定于样本的卷积核， 该卷积核针对不同夜 间图像样 本， 增强时使用不同增强方法来约束每 个增强子网络， 以便动态增强网络可以根据输入 图像样本自适应地选择更有效的增强方法， 检测 阶段基于增强图像使用简洁的单阶段检测方法， 提升检测效率， 可用于实现在夜间场景下的车辆 检测任务， 通过将动态夜间图像增强网络和车辆 检测任务有机结合在一起， 提升网络对应对不同 类型夜间图像退化问题的能力， 进而提升检测器 的整体性能。 权利要求书1页 说明书4页 附图2页 CN 115171079 A 2022.10.11 CN 115171079 A 1.一种基于夜间场景的车辆检测方法， 其特 征在于， 具体包括如下步骤： （1） 车辆数据集构建： 收集多种夜间场景的车辆图像， 并对车辆图像进标注位置信息后 构建车辆数据集， 将数据集按照6： 2： 2的比例划分为训练集、 验证集和 测试集； （2） 增强特征提取： 将车辆数据集中的RGB夜间图像输入增强特征提取网络， 依次通过 四个卷积块， 每个卷积块之 间通过最大池化层进 行下采样， 使宽高减半， 得到用于图像增强 的图像特 征； （3） 夜间图像增强： 将步骤 （2） 得到的图像特征分别输入夜间图像增强模块的多个结构 相同但相互独立的子网络中， 得到不同的增强图像； （4） 车辆位置定位： 将步骤 （3） 得到的增强图像输入车辆检测模块， 使用主干网络对增 强图像进行特征提取， 在提取的特征后连接两层卷积核为3 3的卷积层以及一层平均池化 层， 在特征图的每一个特征点设置一个锚框， 然后分别使用两个结构相同的但是不共享参 数的全连接层子网络学习分类和位置偏差信息， 其中位置偏差信息是车辆检测框与特征锚 框的偏差， 完成目标框类别分类和位置回归任务， 其中分类任务为是否为车辆， 位置信息为 车辆的水平外 接矩； （5） 训练网络获得模型参数： 使用车辆数据集中训练集用于训练， 图片 尺寸为512 512 3， 按照每次训练所需的图像数量B， 依次输入到网络中， 夜间图像增强模块的损失为所有子 网络的损失之和， 使用增强 图像与目标图像的均方误差作为损失函数， 车辆检测模块使用 Focal损失算预测判断类别误差， 采用Smooth  L1损失来计算预测车辆位置与真实车辆位置 的误差； 并且使用IOU阈值作为样本分配策略的衡量标准， 输出车辆的分类置信度 和回归坐标位置 ， 其中Class为2， 即是否是车辆， N是输出预测车 辆目标的数量， 4为车辆的水平框的中心点坐标和框的长宽， 通过反向传播更新参数， 经过 500轮完整训练集训练迭代后， 保存验证集上结果最好的模 型参数， 作为最 终模型训练好的 参数， 得到训练好的车辆检测网络参数； （6） 测试网络输出车辆位置和类别： 在测试过程中， 保持图片长短边比例不变的情况下 将图像长边缩放到512， 然后对图片的短边进行填充， 使得图像尺寸为512 512， 作为网络的 输入， 即可输出车辆的分类置信度和车辆的坐标位置， 并设置阈值过滤低置信度的车辆， 并 使用非极大抑制删除网络 输出的冗余的框， 获得夜间场景的车辆位置 。 2.根据权利要求1所述基于夜间场景的车辆检测方法， 其特征在于， 步骤 （1） 标注的车 辆位置信息包括车辆的中心点 坐标、 长和宽 。 3.根据权利要求2所述基于夜间场景的车辆检测方法， 其特征在于， 步骤 （2） 所述卷积 块由三个重复堆叠的3 ×3卷积层和ReLU层组成。 4.根据权利要求3所述基于夜间场景的车辆检测方法， 其特征在于， 步骤 （3） 所述子网 络均由动态滤波器和图像重建网络组成， 使用动态滤波网络模拟不同的增强方法， 在动态 滤波网络后通过全连接层生成卷积核 K， 图像重建网络包含四个卷积块， 卷积块与步骤 （2） 中所述卷积块相同， 每个卷积块之间通过上采样层对特征进行上采样， 最终得到重建图像 R，重建图像 R与动态网络生成的卷积核 K进行卷积操作生成最终增强图像。 5.根据权利要求4所述基于夜间场景的车辆检测方法， 其特征在于， 步骤 （4） 所述主干 网络采用CS PDarknet。权　利　要　求　书 1/1 页 2 CN 115171079 A 2一种基于夜间场景的车辆检测方 法 技术领域 [0001]本发明属于车辆检测技 术领域， 尤其涉及一种基于夜间场景的车辆检测方法。 背景技术 [0002]随着经济飞速 发展， 交通系统空前发达， 城市中车辆保有量逐年上升， 与之伴随的 则是道路交通安全问题所造成的生命财产损失， 其中夜间重大交通事故率远高于白天， 而 导致夜间事故率更高且更严重的原因主要有光线不足、 灯光干扰、 疲劳驾驶等， 导致驾驶员 辨识能力和判断能力下降， 对突发事 件不能快速反应并采取措施。 [0003]随着人工智能技术的发展， 利用智能辅助系统感知车辆周围的环境， 通过检测周 边的车辆给驾驶员做出预警， 提高了驾驶的安全性。 目前车辆检测算法在白天可以取得不 错的效果， 但是在夜间光线不足、 图像的对比度低、 细节信息被隐藏在背景,此外还有灯光 干扰的情况， 直接导致车辆的检测效果仍然不佳， 虽然可以通过辅助系统或夜视监控等有 关的昂贵硬件来改善低光照条件下图像的拍摄效果， 但应用于日常生活中不是很现实， 增 加了不必要的成本。 在夜晚低光照场景下， 大多 数方法还是采用先增强后检测的方式， 但增 强方法并不针对提高检测性能设计， 无法针对目标检测算法的需求改善图像质量， 检测器 也不能为 夜晚低光照场景做专门的适配， 并且单一的增强方式也难以解决多种复杂的夜间 场景问题， 所以整体性能提升有限。 因此， 在夜晚低光照场的车辆检测受到了高底层 任务出 发点的影响， 底层视觉任务主要针对提升可视化效果， 缺 乏对场景视觉中高层特性知识的 有效利用， 并不能有效促进车辆检测识别等任务。 发明内容 [0004]本发明的目的在于克服现有技术存在的缺点， 设计提供一种基于夜间场景的车辆 检测方法， 用于夜间低光照场景下 的车辆检测任务， 也可用于夜间低光照场景 的其他检测 任务， 能够有效促进高底层任务的结合， 提升检测器的检测精度和模型泛化 性。 [0005]为实现上述目的， 本发明将夜间图像增强和车辆检测任务统一在一个端到端的联 合优化框架中， 图像增强模块使用动态滤波网络来生成特定于样本的卷积核， 该卷积核针 对不同夜间图像样本， 增强时使用不同增强方法来约束每个增强子网络， 以便动态增强网 络可以根据输入图像样本自适应地选择更有效的增强方法， 检测阶段基于增强图像使用简 洁的单阶段检测方法， 提升检测效率， 通过将动态夜间图像增强网络和车辆检测任务有机 结合在一起， 提升网络对应对不同类型夜间图像退化问题的能力， 进而提升检测器的整体 性能， 具体包括如下步骤： （1） 车辆数据集构建： 收集多种夜间场景的车辆图像， 并对车辆图像进标注位置信 息后构建车辆数据集， 将数据集按照6： 2： 2的比例划分为训练集、 验证集和 测试集； （2） 增强特征提取： 将车辆数据集中的RGB夜间图像输入增强特征提取网络， 依次 通过四个卷积块， 每个卷积块之 间通过最大池化层进 行下采样， 使宽高减半， 得到用于图像 增强的图像特 征；说　明　书 1/4 页 3 CN 115171079 A 3