(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211111164.2 (22)申请日 2022.09.13 (71)申请人 智慧互通科技股份有限公司 地址 075000 河北省张家口市空港经济技 术开发区一期十号楼 (72)发明人 闫军　张欢欢　王艳清　 (51)Int.Cl. G06V 20/62(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 车牌号码及车牌颜色识别结果的可靠性判 断方法及系统 (57)摘要 本申请公开一种车牌号码及车牌颜色识别 结果的可靠性判断方法及系统。 方法包括： 根据 车牌检测数据集、 号码识别数据集、 号码及颜色 识别数据集一、 号码及颜色识别数据集二进行模 型训练， 获得训练完成的车牌检测模型、 号码识 别模型、 号码及颜色识别模型一、 号码及颜色识 别模型二； 根据训练完成的车牌检测模型、 号码 识别模型、 号码及颜色识别模型一、 号码及颜色 识别模型二对测试图像进行检测， 获得车牌位 置、 车牌颜色结果一、 号码识别结果一、 号码识别 结果二、 车牌颜色结果二、 号码识别结果三、 车牌 颜色结果三。 若车牌颜色结果一、 结果二、 结果三 相同， 且号码识别结果一、 结果二、 结果三相同 时， 生成车牌颜色与车牌 号码的订单信息 。 权利要求书3页 说明书10页 附图4页 CN 115457533 A 2022.12.09 CN 115457533 A 1.一种车牌 号码及车牌颜色识别结果的可靠性判断方法， 其特 征在于， 包括： 获取车牌检测数据集、 号码识别数据集、 号码及颜色识别数据集一、 号码及颜色识别数 据集二， 且所述车牌检测数据集、 所述号码识别数据集、 所述号码及颜色识别数据集一、 所 述号码及颜色识别数据集 二彼此相互独立； 根据所述车牌检测数据集， 对车牌检测模型进行模型训练， 获得训练完成的车牌检测 模型； 根据所述号码识别数据集， 对号码识别模型进行模型训练， 获得训练完成的号码识别 模型； 根据所述号码及颜色识别数据集一， 对卷积神经网络、 长短时记忆网络以及联接时间 分类器损失函数形成的号码及 颜色识别模型一进 行模型训练， 获得训练完成的号码及 颜色 识别模型一； 根据所述号码及颜色识别数据集二， 对卷积神经网络、 全卷积网络以及损 失函数形成 的号码及颜色识别模型二进行模型训练， 获得训练完成的号码及颜色识别模型二； 获取测试图像， 根据所述训练完成的车牌检测模型对所述测试图像进行检测， 获得车 牌位置与车牌颜色结果一， 根据所述车牌位置对所述测试图像进行截取， 获得测试车牌图 像， 根据所述训练完成的号码识别模型对所述测试车牌图像进行检测， 获得号码识别结果 一， 根据所述训练完成的号码及颜色识别模型一对所述测试车牌图像进行检测， 获得号码 识别结果二与车牌颜色结果二， 根据所述训练完成的号码及颜色识别模型二对所述测试车 牌图像进行检测， 获得号码识别结果 三与车牌颜色结果 三； 若所述车牌颜色结果一、 所述车牌颜色结果二以及所述车牌颜色结果三相同， 且所述 号码识别结果一、 所述号码识别结果二以及所述号码识别结果三相同时， 则生成车牌颜色 与车牌号码的订单信息 。 2.根据权利要求1所述的车牌号码及车牌颜色识别结果的可靠性判断方法， 其特征在 于， 根据所述车牌检测数据集， 采用梯度下降算法对所述车牌检测模 型进行模型训练， 获得 所述训练完成的车牌检测模型； 根据所述号码识别数据集， 采用所述梯度下降算法对所述号码识别模型进行模型训 练， 获得所述训练完成的号码识别模型； 根据所述号码及颜色识别数据集一， 采用所述梯度 下降算法对所述号码及颜色识别模 型一进行模型训练， 获得 所述训练完成的号码及颜色识别模型一； 根据所述号码及颜色识别数据集二， 采用所述梯度 下降算法对所述号码及颜色识别模 型二进行模型训练， 获得 所述训练完成的号码及颜色识别模型二。 3.根据权利要求1所述的车牌号码及车牌颜色识别结果的可靠性判断方法， 其特征在 于， 所述号码及颜色识别模型一中卷积神经网络的特征提取骨干网络与所述号码及 颜色识 别模型二中卷积神经网络的特 征提取骨干网络不同。 4.根据权利要求3所述的车牌号码及车牌颜色识别结果的可靠性判断方法， 其特征在 于， 所述根据所述号码及 颜色识别数据集二， 对卷积神经网络、 全卷积网络以及损失函数形 成的号码及颜色识别模型二进行模型训练， 获得训练完成的号码及颜色识别模型二， 包括： 将标注有号码字符位置信 息、 号码字符类别信 息以及车牌颜色的所述号码及颜色识别 数据集二输入至所述卷积神经网络中进行 特征提取， 输出 车牌特征向量；权　利　要　求　书 1/3 页 2 CN 115457533 A 2将所述车牌特征向量分别并行输入至九个全卷积网络以及对应的所述损失函数中， 输 出预测八位 号码与预测车辆颜色。 5.根据权利要求1所述的车牌号码及车牌颜色识别结果的可靠性判断方法， 其特征在 于， 所述若 所述车牌颜色结果一、 所述车牌颜色结果二以及所述车牌颜色结果三相同， 且所 述号码识别结果一、 所述号码识别结果二以及所述号码识别结果三相同时， 则生成车牌颜 色与车牌 号码的订单信息， 包括： 若所述车牌颜色结果一、 所述车牌颜色结果二以及所述车牌颜色结果三相同， 且所述 号码识别结果一、 所述号码识别结果二以及所述号码识别结果三相同时， 判断所述车牌颜 色与所述车牌 号码是否符合车牌类型规则； 若所述车牌颜色与 所述车牌号码符合所述车牌类型规则， 则生成所述车牌颜色与 所述 车牌号码的订单信息； 所述车牌 号码及车牌颜色识别结果的可靠性判断方法还 包括： 若所述车牌颜色结果一、 所述车牌颜色结果二以及所述车牌颜色结果三不相同， 或者 所述号码识别结果一、 所述号码识别结果二以及所述号码识别结果三不相同时， 则投票输 出所述车牌颜色与所述车牌 号码。 6.一种车牌 号码及车牌颜色识别结果的可靠性判断系统， 其特 征在于， 包括： 数据获取模块， 用于获取车牌检测数据集、 号码识别数据集、 号码及颜色识别数据集 一、 号码及颜色识别数据集二， 且所述车牌检测数据集、 所述号码识别数据集、 所述号码及 颜色识别数据集 一、 所述号码及颜色识别数据集 二彼此相互独立； 车牌检测模型模块， 用于根据 所述车牌检测数据集， 对车牌检测模型进行模型训练， 获 得训练完成的车牌检测模型； 号码识别模型模块， 用于根据 所述号码识别数据集， 对号码识别模型进行模型训练， 获 得训练完成的号码识别模型； 号码及颜色识别模型一模块， 用于根据所述号码及颜色识别数据集一， 对卷积神经网 络、 长短时记忆网络以及联接时间分类器损失函数形成的号码及颜色识别模型一进行模型 训练， 获得训练完成的号码及颜色识别模型一； 号码及颜色识别模型二模块， 用于根据所述号码及颜色识别数据集二， 对卷积神经网 络、 全卷积网络以及损失函数形成的号码及颜色识别模型二进行模型训练， 获得训练完成 的号码及颜色识别模型二； 测试模块， 用于获取测试图像， 根据所述训练完成的车牌检测模型对所述测试图像进 行检测， 获得车牌位置与车牌颜色结果一， 根据所述车牌位置对所述测试图像进 行截取， 获 得测试车牌图像， 根据所述训练完成的号码识别模型对所述测试车牌图像进行检测， 获得 号码识别结果一， 根据所述训练完成的号码及 颜色识别模型一对所述测试车牌图像进 行检 测， 获得号码识别结果二与车牌颜色结果二， 根据所述训练完成的号码及颜色识别模型二 对所述测试 车牌图像进行检测， 获得号码识别结果 三与车牌颜色结果 三； 车牌信息生成模块， 用于若所述车牌颜色结果一、 所述车牌颜色结果二以及所述车牌 颜色结果三相同， 且所述号码识别结果一、 所述号码识别结果二以及所述号码识别结果三 相同时， 则生成车牌颜色与车牌 号码的订单信息 。 7.根据权利要求6所述的车牌号码及车牌颜色识别结果的可靠性判断系统， 其特征在权　利　要　求　书 2/3 页 3 CN 115457533 A 3