(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210661445.9 (22)申请日 2022.06.13 (71)申请人 苏州昆朋智能网联科技有限公司 地址 215500 江苏省苏州市 常熟高新 技术 产业开发区云深路2号 (72)发明人 杨雷　洪涛　王恒达　马铤　 曹川川　 (74)专利代理 机构 苏州瞪羚知识产权代理事务 所(普通合伙) 32438 专利代理师 张宇 (51)Int.Cl. G06V 20/58(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06T 17/10(2006.01)G06V 10/80(2022.01) G06V 10/77(2022.01) B60Q 9/00(2006.01) B60Q 1/52(2006.01) (54)发明名称 一种基于公交车尾屏的行人检测方法、 装置 及公交车尾屏 (57)摘要 本公开涉及一种基于公交车尾屏的行人检 测方法、 装置及公交车尾屏， 包括： 通过不同类型 的传感器采集公交车车尾当前有效识别区域内 环境信息， 对环境信息进行残余光流分析， 将各 类型传感器的环境信息中的行人移动信息分离； 对感知图像进行背景减除得到对应的行人轮廓， 根据行人轮廓建立行人统计形状模 型； 基于雷达 的行人移动信息， 确定行人距离公交车车尾的距 离， 将行人统计形状模型和距离融合确定图像与 距离信息； 将图像与距离信息和红外传感器的行 人移动信息融合得到行人预警信息， 根据行人预 警信息生 成行人预警信息和车辆预 警信息； 若行 人预警信息或车辆预警信息满足预 警条件， 将行 人预警信息在驾驶室播放及将车辆预警信息在 公交车尾屏展示。 权利要求书2页 说明书8页 附图2页 CN 114913507 A 2022.08.16 CN 114913507 A 1.一种基于公交车尾屏的行 人检测方法， 其特 征在于， 包括： 通过设置在公交车尾屏的不同类型的传感器， 采集所述公交车的车尾当前的有 效识别 区域内的环境信息， 并对所述环境信息进行残余光流分析， 将所述各类型 的所述传感器采 集的环境信息中的行 人移动信息分离； 对所述传感器 中类型为摄像机的传感器对应的感知图像进行背景减除， 得到所述摄像 机对应的行人轮廓， 并根据所述行人轮廓建立行人统计形状模型， 所述感知图像是根据图 像之间的视角差确定的； 基于所述传感器中类型为雷达的传感器对应的行人移动信 息， 确定所述行人距离所述 公交车的车尾的距离， 根据建立的所述行人统计形状模型以及所述距离进行初次信息融 合， 确定图像与距离信息； 将所述图像与距离信息和所述传感器中类型为红外的传感器对应的行人移动信息进 行二次信息融合， 得到行人预警信息， 并根据所述行人预警信息生成用于在所述公交车 的 驾驶室播 放的行人预警信息和用于在所述公交车尾屏展示的车辆预警信息； 在所述行人预警信息和/或所述车辆预警信息满足对应的预警条件的情况下， 将所述 行人预警信息在所述驾驶室播 放以及将所述车辆预警信息在所述公交车尾屏展示。 2.根据权利要求1所述的行人检测方法， 其特征在于， 所述不同类型的传感器具有共同 的有效识别区域， 所述有效识别区域是根据所述公交车车尾当前 的人流量确定的， 所述有 效识别区域的范围与所述人流 量呈反比。 3.根据权利要求2所述的行人检测方法， 其特征在于， 所述有 效识别区域是通过如下方 式确定的： 根据所述摄 像机对应的感知图像的灰度值差异， 对所述感知图像进行分区； 计算所述感知图像中每一分区的灰度值均值， 将所述灰度值均值大于等于灰度阈值的 分区作为环境区， 将所述灰度值均值小于所述灰度阈值的分区作为定位框区； 根据所述环境区与 所述定位框区之间的面积比值， 确定所述公交车的车尾当前的人流 量， 并根据所述人流 量从预设的有效识别区域中确定所述有效识别区域。 4.根据权利要求1所述的行人检测方法， 其特征在于， 所述根据 所述行人轮廓建立行人 统计形状模型的步骤， 包括： 基于全身检测器， 从所述行 人轮廓中确定行 人候选轮廓区； 基于贝叶斯决策组合算法， 根据所述行人候选轮廓区从所述公交车车尾当前的行人中 确定目标 行人； 利用球、 椭圆柱、 广义锥台中的至少一者， 描述所述目标行人的结构细节， 并根据所述 结构细节建立行 人统计形状模型。 5.根据权利要求1所述的行人检测方法， 其特征在于， 所述摄像机包括设置在不同位置 的多个摄像机， 在所述对所述传感器中类型为摄像机的传感器对应的感知图像进 行背景减 除， 得到所述摄 像机对应的行 人轮廓的步骤之前， 包括： 通过可编 程逻辑阵列对所述行人移动信 息进行视频信号模数转换， 并基于嵌入式图形 处理器模组， 根据转换后的所述行 人移动信息进行图形性能计算， 得到备用行 人移动信息； 基于三角测量， 对所述多个摄像机对应的所述备用行人移动信息进行视角差计算， 并 根据所述视角差从所述行 人移动信息中确定不同视角下的感知图像。权　利　要　求　书 1/2 页 2 CN 114913507 A 26.根据权利要求1所述的行人检测方法， 其特征在于， 所述根据 所述行人轮廓建立行人 统计形状模型的步骤， 包括： 建立线性点分布模型， 并使用主成分分析降低所述线性点分布模型的维数， 得到8维变 形空间的线性 点分布模型； 在所述8维变形空间的线性点分布模型中， 根据 所述行人轮廓中的不同身体部位， 构建 行人统计形状模型， 其中， 所述身体部位包括头肩、 躯 干和腿。 7.一种基于公交车尾屏的行 人检测装置， 其特 征在于， 包括： 采集模块， 被配置为通过设置在公交车尾屏的不同类型的传感器， 采集所述公交车的 车尾当前 的有效识别区域内的环境信息， 并对所述环境信息进行残余光流分析， 将所述各 类型的所述传感器采集的环境信息中的行 人移动信息分离； 构建模块， 被配置为对所述传感器中类型为摄像机的传感器对应的感知图像进行背景 减除， 得到所述摄像机对应的行人轮廓， 并根据所述行人轮廓建立行人统计形状模型， 所述 感知图像是根据图像之间的视角差确定的； 确定模块， 被配置为基于所述传感器中类型为雷达的传感器对应的行人移动信息， 确 定所述行人距离所述 公交车的车尾的距离， 根据建立的所述行人 统计形状模型以及所述距 离进行初次信息融合， 确定图像与距离信息； 融合模块， 被配置为将所述图像与距离信 息和所述传感器中类型为红外的传感器对应 的行人移动信息进行二次信息融合， 得到行人预警信息， 并根据所述行人预警信息生成用 于在所述公交车的驾驶室播放的行人预警信息和用于在所述公交车尾屏展示的车辆预警 信息； 预警模块， 被配置为在所述行人预警信息和/或所述车辆预警信息满足对应的预警条 件的情况下， 将所述行人预警信息在所述驾驶室播放以及将所述车辆预警信息在所述公交 车尾屏展示。 8.根据权利要求7所述的行人检测装置， 其特征在于， 所述不同类型的传感器具有共同 的有效识别区域， 所述有效识别区域是根据所述公交车车尾当前 的人流量确定的， 所述有 效识别区域的范围与所述人流 量呈反比。 9.根据权利要求8所述的行人检测装置， 其特征在于， 所述有 效识别区域是通过如下方 式确定的： 根据所述摄 像机对应的感知图像的灰度值差异， 对所述感知图像进行分区； 计算所述感知图像中每一分区的灰度值均值， 将所述灰度值均值大于等于灰度阈值的 分区作为环境区， 将所述灰度值均值小于所述灰度阈值的分区作为定位框区； 根据所述环境区与 所述定位框区之间的面积比值， 确定所述公交车的车尾当前的人流 量， 并根据所述人流 量从预设的有效识别区域中确定所述有效识别区域。 10.一种公交车尾屏， 其特 征在于， 包括： 显示屏， 用于车辆预警信息； 存储器， 其上存 储有计算机程序； 处理器， 用于执行所述存储器 中的所述计算机程序， 以实现权利要求1 ‑6中任意一项所 述基于公交车尾屏的行 人检测方法的步骤。权　利　要　求　书 2/2 页 3 CN 114913507 A 3