(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210217925.6 (22)申请日 2022.03.08 (65)同一申请的已公布的文献号 申请公布号 CN 114359974 A (43)申请公布日 2022.04.15 (73)专利权人 广东履安实业有限公司 地址 510600 广东省广州市天河区金颖路1 号1楼 (72)发明人 柳明珠　吴志伟　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 赵迎迎 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 112163566 A,2021.01.01 CN 111652054 A,2020.09.1 1 CN 111274921 A,2020.0 6.12 CN 111191622 A,2020.0 5.22 审查员 郑明月 (54)发明名称 一种人体姿态的检测方法、 设备及存 储介质 (57)摘要 本发明公开一种人体姿态的检测方法、 设备 及存储介质， 方法包括： 若检测到视频数据中的 原始图像数据包含服务人员所处的目标区域， 则 检测服务人员的躯体的关节点， 并得到服务人员 的躯体的热力图， 将目标区域与热力图连接为参 考图像数据， 融合参考图像数据的特征， 得到目 标图像数据并输入残差网络， 以预测服务人员在 原始图像数据中的姿态， 根据关节 点之间的匹配 程度追踪相邻帧的原始图像数据中的服务人员， 当同一服务人员在连续多帧原始图像数据中符 合预设的报警条件则报警， 对原始图像数据与热 力图融合获得特征丰富度高的图像数据， 用残差 网络进行姿态预测确保了正确率， 通过多帧原始 图像数据满足条件才触发报警， 减少因部分帧的 误判对结果的影响。 权利要求书3页 说明书18页 附图7页 CN 114359974 B 2022.06.07 CN 114359974 B 1.一种人体姿态的检测方法， 其特 征在于， 所述方法包括： 面向多个服务人员办公的服务场所采集视频数据， 所述视频数据中具有多帧原始图像 数据； 若在所述原始图像数据中检测到包含所述服务人员所处的目标区域， 则在所述目标区 域中检测所述 服务人员的躯体的关节点； 查询所述关节点在所述原始图像数据中的坐标； 按照所述关节点与非办公姿态的相关 性配置直径系 数， 所述直径系 数与所述关节点与非办公姿态的相关性正相关； 以所述坐标 作为圆心， 所述直径系数的多倍值作为直径， 生成扩大化后所述关节点的范围， 得到所述服 务人员的躯体的热力图， 所述非办公姿态包括叉腰与抱胸； 将所述目标区域与所述热力图连接为 参考图像数据； 在所述参考图像数据的基础上， 融合所述 参考图像数据的特 征， 得到目标图像数据； 将所述目标图像数据输入至预设的残差网络 中进行处理， 以预测所述服务人员的躯体 在所述原 始图像数据中呈现的姿态， 所述姿态包括所述非办公姿态； 针对时间上相邻的两帧所述原始图像数据， 根据 所述关节点之间的匹配程度追踪同一 所述服务人员； 针对时间上连续的多帧所述原始图像数据， 若同一所述服务人员的所述非办公姿态符 合预设的报警条件， 则对所述 服务人员执 行报警操作。 2.根据权利要求1所述的方法， 其特征在于， 所述得到所述服务人员的躯体的热力图， 包括： 针对所述范围中的点， 计算所述 坐标与所述 点之间的第一距离； 对所述第一距离的相反数 取指定的比例， 获得第一 参数值； 以自然数为底数， 所述第一 参数值为指数， 计算获得第二 参数值； 将所述第二参数值与 预设的阶数乘积设置为所述点的热力值， 以生成所述服务人员的 躯体的热力图。 3.根据权利要求2所述的方法， 其特征在于， 所述按照所述关节点与非办公姿态的相关 性配置直径系数， 包括： 若所述关节点的类型属于第一 集合， 则对所述关节点配置第一系数， 作为 直径系数； 若所述关节点的类型属于第二 集合， 则对所述关节点配置第二系数， 作为 直径系数； 其中， 所述第 一集合内的所述关节点与非办公姿态的相关性高于所述第 二集合内的所 述关节点与非办公姿态的相关性， 所述第一系数 大于所述第二系数； 所述第一 集合内的所述关节点包括如下至少一 者： 右肩、 右手肘、 右手腕、 左肩、 左手肘、 左手腕； 所述第二 集合内的所述关节点包括如下至少一 者： 鼻子、 脖子、 右髋、 右膝盖、 右脚踝、 左髋、 左膝盖、 左脚踝、 右眼、 左眼、 右耳、 左耳。 4.根据权利要求1所述的方法， 其特征在于， 所述在所述参考图像数据的基础上， 融合 所述参考图像数据的特 征， 得到目标图像数据， 包括： 对所述参考图像数据执 行全局平均池化操作， 获得第一 参考特征数据； 将所述第一 参考特征数据输入预设的第一全连接层中映射 为第二参考特征数据； 将所述第二 参考特征数据输入预设的第二全连接层中映射 为第三参考特征数据；权　利　要　求　书 1/3 页 2 CN 114359974 B 2将所述第三参考特征数据作为权重， 通过乘法逐通道加权到所述参考图像数据上， 得 到目标图像数据。 5.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述残差网络包括卷积层、 第 一残差块、 第二残差块、 第三残差块和第三全连接层； 所述将所述目标图像数据输入至预设的残差网络中进行处理， 以预测所述服务人员的 躯体在所述原 始图像数据中呈现的姿态， 包括： 将所述目标图像数据输入至所述卷积层进行 卷积操作， 得到第一 候选特征数据； 对所述第一 候选特征数据执行最大池化操作， 得到第二 候选特征数据； 将所述第二候选特征数据输入至所述第 一残差块中进行残差处理， 得到第 三候选特征 数据； 将所述第三候选特征数据输入至所述第 二残差块中进行残差处理， 得到第四候选特征 数据； 将所述第四候选特征数据输入至所述第 三残差块进行残差处理， 得到第五候选特征数 据； 对所述第五候选特 征数据执行平均池化操作， 得到第六候选特 征数据； 将所述第六候选特征数据输入至所述第三全连接层中映射为所述服务人员的躯体在 所述原始图像数据中呈现的姿态。 6.根据权利要求5所述的方法， 其特 征在于， 所述第一残差块中具有四层卷积层， 每两层所述卷积层之间具有残差连接； 所述第二残差块中具有四层卷积层， 每两层所述卷积层之间具有残差连接； 所述第三残差块中具有四层卷积层， 每两层所述卷积层之间具有残差连接； 所述第一 候选特征数据的通道的数量与所述第三 候选特征数据的通道的数量相等； 所述第三 候选特征数据的通道的数量小于所述第四候选特 征数据的通道的数量； 所述第四候选特 征数据的通道的数量小于所述第五候选特 征数据的通道的数量。 7.根据权利要求1 ‑4中任一项所述的方法， 其特征在于， 所述针对时间上相邻的两帧所 述原始图像数据， 根据所述关节点之间的匹配程度追踪同一所述 服务人员， 包括： 在第一图像数据中选取任一所述服务人员为第 一人员， 在第 二图像数据中选择任一所 述服务人员为第二人员， 所述第一图像数据与所述第二图像数据为时间上相 邻的两帧所述 原始图像数据； 在所述第一人员的所述关节点的类型与所述第二人员的所述关节点的类型相同的条 件下， 计算所述第一人员的所述关节点与所述第二人员的所述关节点之间的第二距离； 选择最大面积值， 所述最大面积值为所述第 一人员所处的所述目标区域的面积与 所述 第二人员所处的所述目标区域的面积中的较大者； 按照所述关节点的类型对所述关节点配置惩罚系数； 以自然数作为底数， 目标比值的相反数为指数， 计算所述第一人员的所述关节点与所 述第二人员的所述关节点之间的相似度， 所述 目标比值的分子为所述第二距离、 所述 目标 比值的分母为预设的第一数值、 第二数值与所述惩罚系 数之间的乘积， 所述第二数值为所 述最大面积值与预设的第三数值之间的和值； 若所述第一人员的所述关节点与所述第二人员的所述关节点之间的相似度小于预设权　利　要　求　书 2/3 页 3 CN 114359974 B 3