(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210217438.X (22)申请日 2022.03.07 (71)申请人 青岛海信网络科技股份有限公司 地址 266071 山东省青岛市崂山区株洲路 151号 (72)发明人 陈维强　王雯雯　苏士斌　刘爱华　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 张恺宁 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 一种车辆违法载人检测方法、 装置、 设备及 存储介质 (57)摘要 本申请提供一种车辆违 法载人检测方法、 装 置、 设备及存储介质， 涉及智能交通技术领域， 方 法包括： 对 行车视频中的多帧行车图像 分别进行 目标车辆检测以及行人检测， 得到多帧行车图像 各自的目标车辆检测结果和行人检测结果； 若任 一帧行车图像的目标车辆检测结果包括目标车 辆的检测信息， 且行人检测结果包括多个行人的 检测信息， 则根据该帧行车图像的目标车辆的检 测信息和每个行人的检测信息， 确定目标车辆与 每个行人的位置关系及检测区域重叠度， 基于此 确定该帧行车图像中的目标车辆的载人判定结 果； 基于获得的各帧行车图像各自的目标车辆的 载人判定结果， 确定目标车辆是否违法载人。 上 述方案可以快速有效地检测目标车辆的违法载 人行为。 权利要求书2页 说明书14页 附图7页 CN 114639038 A 2022.06.17 CN 114639038 A 1.一种车辆违法载 人检测方法， 其特 征在于， 包括： 获取待检测的行 车视频中的多帧行 车图像； 对所述多帧行车图像分别进行目标车辆检测以及行人检测， 得到多帧行车图像各自的 目标车辆检测结果和行 人检测结果； 其中， 所述目标 车辆为限制载 人的车辆； 若任意一帧行车图像的目标车辆检测结果包括目标车辆的检测信 息， 且行人检测结果 包括多个行人的检测信息， 则根据所述任意一帧行车图像的所述目标车辆的检测信息和每 个行人的检测信息， 确定所述任意一帧行车图像中的所述目标车辆与所述每个行人的位置 关系及检测区域重 叠度； 根据所述任意一帧行车图像中的所述目标车辆分别与所述多个行人的位置关系及检 测区域重 叠度， 确定所述任意 一帧行车图像中的所述目标 车辆的载 人判定结果； 基于获得的各帧行车图像各自对应的所述目标车辆的载人判定结果， 确定所述目标车 辆是否违法载 人。 2.根据权利要求1所述的方法， 其特征在于， 所述对所述多帧行车图像分别进行目标车 辆检测以及行 人检测， 得到多帧行 车图像各自的目标 车辆检测结果和行 人检测结果， 包括： 通过目标检测模型对所述多帧行车图像分别进行目标车辆检测以及行人检测， 得到多 帧行车图像各自的目标车辆检测结果和行人检测结果； 其中， 所述 目标检测模型至少包括 空间注意力机制网络和通道注意力机制网络， 所述空间注意力机制网络和所述通道注意力 机制网络用于关注行 车图像中的行 人可见区域。 3.根据权利要求2所述的方法， 其特征在于， 所述目标检测模型还包括由多个依次连接 的卷积层构成的特 征金字塔网络、 第一特 征融合网络和第二特 征融合网络； 第一个卷积层与所述空间注意力机制网络连接， 多个卷积层中的部分卷积层、 所述空 间注意力机制网络分别与所述第一特 征融合网络连接； 第二个卷积层与所述通道注意力机制网络连接， 多个卷积层中的部分卷积层、 所述通 道注意力机制网络分别与所述第二特 征融合网络连接 。 4.根据权利要求3所述的方法， 其特征在于， 所述目标检测网络是通过图像样本集对初 始目标检测网络训练获得 的， 训练过程中的损失函数包括分类损失函数、 回归损失函数和 所述空间注意力机制网络的损失函数； 其中， 所述 回归损失函数将每个图像样本的预测行人区域与实际行人可见区域的交并 比， 作为该图像样本的损失值的权 重。 5.根据权利要求1至4任一项所述的方法， 其特征在于， 所述目标车辆的检测信息包括 目标车辆检测区域和所述目标车辆检测区域的位置信息， 每个行人的检测信息包括行人检 测区域和所述行 人检测区域的位置信息； 所述根据 所述任意一帧行车图像的所述目标车辆的检测信 息和每个行人的检测信 息， 确定所述任意一帧行车图像中的所述目标车辆与所述每个行人的位置关系及检测区域重 叠度， 包括： 根据所述任意一帧行车图像中的所述目标车辆检测区域的位置信息和每个行人检测 区域的位置信息， 确定所述目标车辆检测区域与所述每个行人检测区域的中心 坐标的位置 关系； 将所述目标车辆检测区域与 所述每个行人检测区域的中心坐标的位置关系， 作为所述权　利　要　求　书 1/2 页 2 CN 114639038 A 2目标车辆与所述每 个行人的位置关系； 确定所述目标车辆检测区域与每个行人检测区域的交集和并集的比值， 并将所述交集 和并集的比值作为所述目标 车辆与所述每 个行人的检测区域重 叠度。 6.根据权利要求5所述的方法， 其特征在于， 所述根据所述任意一帧行车图像中的所述 目标车辆分别与所述多个行人的位置关系及检测区域重叠度， 确定所述任意一帧行车图像 中的所述目标 车辆的载 人判定结果， 包括： 确定所述多个行 人中， 与所述目标 车辆的检测区域重 叠度达到预设值的目标 行人； 若所述目标行人的数量超过预设数量， 且每个目标行人的行人检测区域的中心坐标在 所述目标 车辆检测区域内， 则确定所述任意 一帧行车图像中的所述目标 车辆为载 人状态。 7.根据权利要求1至4任一项所述的方法， 其特征在于， 所述基于获得的各帧行车图像 各自对应的所述目标 车辆的载 人判定结果， 确定所述目标 车辆是否违法载 人， 包括： 若所述各帧行车图像中， 所述目标车辆为载人状态的行车图像的数量占比达到预设占 比， 且所述 目标车辆在所述各帧行车图像中处于非静止状态， 则确定所述 目标车辆违法载 人。 8.一种车辆违法载 人检测装置， 其特 征在于， 包括： 获取模块， 用于获取待检测的行 车视频中的多帧行 车图像； 检测模块， 用于对所述多帧行车图像分别进行目标车辆检测以及行人检测， 得到多帧 行车图像各自的目标车辆检测结果和行人检测结果； 其中， 所述 目标车辆为限制载人 的车 辆； 位置确定模块， 用于若任意一帧行车图像的目标车辆检测结果包括目标车辆的检测信 息， 且行人检测结果包括多个行人 的检测信息， 则根据所述任意一帧行车图像的所述 目标 车辆的检测信息和每个行人的检测信息， 确定所述任意一帧行车图像中的所述目标车辆与 所述每个行人的位置关系及检测区域重 叠度； 状态确定模块， 用于根据所述任意一帧行车图像中的所述目标车辆分别与 所述多个行 人的位置关系及检测区域重叠度， 确定所述任意一帧行车图像中的所述目标车辆的载人判 定结果； 载人判定模块， 用于基于获得的各帧行车图像各自对应的所述目标车辆的载人判定结 果， 确定所述目标 车辆是否违法载 人。 9.一种车辆违法载 人检测设备， 其特 征在于， 包括处 理器以及数据接收单 元； 数据接收单 元被配置为： 接收待检测的行 车视频； 处理器被配置为： 执 行权利要求1～7任一项所述的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质内存储有计算机程序， 其特征 在于： 所述计算机程序被处 理器执行时， 实现权利要求1～7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114639038 A 3