(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210646512.X (22)申请日 2022.06.08 (71)申请人 深圳市赛 为智能股份有限公司 地址 518000 广东省深圳市龙岗区南湾街 道下李朗社区联李东路8号赛为大楼 A101至15楼 (72)发明人 胡懋成　王秋阳　汪玉冰　郑博超　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 周永敬 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/44(2022.01) (54)发明名称 基于关键点检测的人群密度统计方法、 装 置、 设备及 介质 (57)摘要 本发明实施例公开了一种基于关键点检测 的人群密度统计方法、 装置、 设备及介质， 其中方 法包括： 获取图像数据； 对图像数据进行处理， 以 得到样本图； 将样本图输入到人群密度统计模型 中进行人头概率预测， 以得到人头概率图； 根据 人头概率图计算出人群数量。 本发 明不仅依赖头 部关键点， 同时依赖于人体其他部位关键点进行 识别， 增加模 型监督信息提高人体密度特征图的 表征能力， 加速模型训练收敛速度， 方便做人群 密度预测， 解决了因人体部位部分遮挡导致人数 统计缺失的问题。 另外， 通过多特征融合及注意 力机制提升 了模型对人群密度图预测的正确率。 权利要求书2页 说明书14页 附图2页 CN 114863367 A 2022.08.05 CN 114863367 A 1.基于关键点检测的人群密度统计方法， 其特 征在于， 包括： 获取图像数据； 对图像数据进行处 理， 以得到样本图； 将样本图输入到人群密度统计模型中进行 人头概率预测， 以得到人头概 率图； 根据人头概 率图计算出 人群数量。 2.根据权利要求1所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述将样 本图输入到人群密度 统计模型中进行人头概率预测， 以得到人头概率图， 所述人群密度 统 计模型的处 理方法包括： 将样本图输入到stacked  hourglas s网络， 以得到第一处 理特征和第二处 理特征； 第一处理特征和第二处理特征通过open  pose中关键点之间的关联， 以得到人体关键 点特征； 对第一处 理特征上采样， 以得到上采样特 征； 对第二处 理特征卷积处理， 以得到第一卷积特 征； 将上采样特 征和卷积特 征进行co ncate合并， 以得到第一 合并特征； 对合并特 征通过CBAM的注意力机制处 理， 以得到注意力特 征； 对人体关键点特 征进行self ‑calibrated convolution处理， 以得到自监 督特征； 将注意力特 征进行卷积处理， 以得到第二卷积特 征； 将第二卷积特 征与自监 督特征进行相乘计算， 以得到第三处 理特征； 将样本图进行空洞卷积处 理， 以得到第四处 理特征； 对第四处 理特征进行Channel‑wise Cross Attentation处理， 以得到第五处 理特征； 将第五处 理特征与第三处 理特征进行co ncate合并， 以得到第二 合并特征； 将第二合并特征输入到上采样组合模块进行上采样处理， 以得到第六处理特征、 第七 处理特征和第八处 理特征； 通过sigmo id函数将第八处 理特征进行归一 化处理， 以得到人群密度图； 将人群密度图的每 个像素值设置为0 到1之间， 以得到人头概 率图。 3.根据权利要求2所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述对人 体关键点特 征进行self ‑calibrated convolution处理， 以得到自监 督特征， 包括： 将人体关键点特征通过self ‑calibrated convolution的通道切分成第一切分特征和 第二切分特 征； 将第一切分特 征进行平均池化处 理， 以得到池化特 征； 对池化特征进行卷积和上采样处 理， 以得到第九 处理特征； 将第九处理特征与第一切分特征进行相加计算得到计算结果输入到sigmoid激活函数 处理， 以得到第十处 理特征； 将第十处 理特征与第一切分特 征卷积处理的结果相乘计算， 以得到第十一处 理特征； 将分别对第十一处理特征和第二切分特征进行卷积处理得到的结果通过concate合并 处理， 以得到自监 督特征。 4.根据权利要求2所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述将第 二合并特征输入到上采样组合模块进行上采样处理， 以得到第六处理特征、 第七处理特征 和第八处理特征， 所述上采样组合模块分别由转置卷积， relu激活函数， 空洞卷积以及反池权　利　要　求　书 1/2 页 2 CN 114863367 A 2化构成。 5.根据权利要求4所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述第六 处理特征、 所述第七处 理特征和所述第八处 理特征的特征通道数为均1。 6.根据权利要求5所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述第六 处理特征、 所述第七处 理特征和所述第八处 理特征的大小通过差值 放大到样本图大小。 7.根据权利要求1所述的基于关键点检测的人群密度统计方法， 其特征在于， 所述根据 人头概率图计算出 人群数量,包括： 将人头概率图上每个像素的概率密度进行累加求和后取整计算， 以得到图中的人群数 量。 8.基于关键点检测的人群密度统计装置， 其特征在于， 包括获取单元、 处理单元、 预测 单元和计算单 元； 所述获取 单元， 用于获取图像数据； 所述处理单元， 用于对图像数据进行处 理， 以得到样本图； 所述预测单元， 用于将样本 图输入到人群密度统计模型中进行人头概率预测， 以得到 人头概率图； 所述计算单 元， 用于根据人头概 率图计算出 人群数量。 9.一种计算机设备， 其特征在于， 包括存储器、 处理器以及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求 1～7 中任意一项所述的基于关键点检测的人群密度统计步骤。 10.一种计算机可读存储介质， 其特征在于， 所述存储介质存储有计算机程序， 所述计 算机程序包括程序指 令， 所述程序指 令被处理器执行时， 使得所述处理器执行如权利要求 1 ～7任意一项所述的基于关键点检测的人群密度统计步骤。权　利　要　求　书 2/2 页 3 CN 114863367 A 3