(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999896.3 (22)申请日 2022.08.19 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 李麟　 (74)专利代理 机构 北京世辉律师事务所 16 093 专利代理师 李峥宇 (51)Int.Cl. G06V 40/20(2022.01) G06T 17/00(2006.01) G06N 20/00(2019.01) (54)发明名称 用于识别人体动作的方法、 装置、 设备和介 质 (57)摘要 提供了用于识别人体动作 的方法、 装置、 设 备和介质。 在一种方法中， 响应于接收到包括人 体对象的输入图像， 基于动作模 型确定与输入图 像中的人体对象相关联的目标动作。 该动作模型 描述包括人体对象的图像与人体对象在图像中 的动作之间的关联关系， 动作是由与人体对象相 对应的虚拟人体对象中的一组空间点来表示的， 并且虚拟人体对象的维度匹配于人体对象的维 度。 利用执行目标动作的虚拟人体对象， 更新输 入图像。 利用本公开的示例性实现方式， 可以提 高动作模型的准确性， 进而使得该动作模型可以 以更为准确并且 有效的方式识别人体动作。 权利要求书2页 说明书13页 附图7页 CN 115331309 A 2022.11.11 CN 115331309 A 1.一种用于识别人体动作的方法， 包括： 响应于接收到包括所述人体对象的输入图像， 基于动作模型确定与 所述输入图像 中的 所述人体对象相关联的目标动作， 所述动作模 型描述包括人体对象的图像与所述人体对象 在所述图像中的动作之 间的关联关系， 所述动作是由与所述人体对象相对应的虚拟人体对 象中的一组空间点来表示的， 并且所述虚拟人体对 象的维度匹配于所述人体对 象的维度； 以及 利用执行所述目标动作的所述虚拟人体对象， 更新所述输入图像。 2.根据权利要求1的所述方法， 其中更新所述输入图像包括： 基于所述目标动作确定所述虚拟人体对象的目标虚拟图像， 所述虚拟人体对象被设置 为所述目标动作； 以及 利用所述目标虚拟图像来 替换所述输入图像中的与所述人体对象相关联的部分。 3.根据权利要求2的所述方法， 其中确定所述目标虚拟图像包括： 确定所述输入图像中的所述人体对象的部位； 基于所述部位 来更新所述虚拟对象的材质的渲染方向； 以及 基于更新的所述 渲染方向来 生成所述目标虚拟图像。 4.根据权利要求1的所述方法， 进一 步包括通过以下来获取 所述动作模型： 基于包括所述人体对象的第 一训练图像中的第 一组图像关键点， 表示所述人体对象的 所述维度； 基于所述人体对象的所述维度来生成所述虚拟人体对象， 所述虚拟人体对象包括分别 对应于所述第一组图像关键点的所述 一组空间点； 以及 基于所述第一组图像关键点和所述 一组空间点确定所述动作模型。 5.根据权利要求 4的所述方法， 其中生成所述虚拟人体对象包括以下至少任一项： 基于所述第一组图像关键点的位置关系， 确定所述 一组空间点的位置； 以及 基于所述第一组图像关键点的朝向关系， 确定所述 一组空间点的朝向。 6.根据权利要求5的所述方法， 其中所述第一组图像关键点分别对应于所述人体对象 的一组关节点， 以及所述一组空间点包括分别对应于与所述人体对象的所述一组关节点相 关联的所述虚拟人体对象的一组关节点。 7.根据权利要求6的所述方法， 其中获取 所述动作模型包括： 基于所述动作模型和包括所述人体对象的第 二训练图像， 确定所述第 二训练图像 中的 所述人体对象的预测动作； 基于所述预测动作来确定所述虚拟人体对象的预测虚拟图像； 以及 基于所述预测虚拟图像和所述第二训练图像中的与所述人体对象相关联部分的比较 结果， 更新所述动作模型。 8.根据权利要求7的所述方法， 其中确定所述预测动作包括： 获取所述第二训练图像中的所述人体对象的一组关节点； 以及 基于所述第 二训练图像中的所述人体对象的所述一组关节点和所述动作模型， 确定所 述预测动作。 9.根据权利要求7的所述方法， 其中所述预测动作利用所述虚拟人体对象的一组预测 空间点来表示， 以及确定所述预测虚拟图像包括：权　利　要　求　书 1/2 页 2 CN 115331309 A 2将所述虚拟人体对象的所述一组关节点的朝向分别设置为所述一组预测 空间点的朝 向； 以及 基于设置的所述 一组关节点 来确定所述虚拟人体对象的所述预测虚拟图像。 10.根据权利要求9的所述方法， 其中更新所述动作模型包括： 确定所述预测 虚拟图像中的分别与 所述一组关节点相对应的一组预测图像空间点； 以 及 基于所述一组预测图像空间点中的预测图像空间点与所述第二组图像关键点中的相 应图像关键点之间的距离， 更新所述动作模型。 11.根据权利要求7的所述方法， 进一步包括： 基于所述预测虚拟图像和所述第二训练 图像中的与所述人体对象相关联部 分的比较结果， 调整所述虚拟人体对象的所述一组空间 点的所述朝向。 12.一种用于识别人体动作的装置， 包括： 确定模块， 被配置用于响应于接收到包括所述人体对象的输入图像， 基于所述动作模 型确定与所述输入图像中的所述人体对象相关联的目标动作， 所述动作模 型描述包括人体 对象的图像与所述人体对象在所述图像中的动作之 间的关联关系， 所述动作是由与所述人 体对象相对应的虚拟人体对象中的一组空间点来表示的， 并且所述虚拟人体对象的维度匹 配于所述人体对象的维度； 以及 更新模块， 被配置用于利用执行所述目标动作的所述虚拟人体对象， 更新所述输入图 像。 13.一种电子设备， 包括： 至少一个处 理单元； 以及 至少一个存储器， 所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于 由所述至少一个处理单元执行的指 令， 所述指 令在由所述至少一个处理单元执行时使 所述 电子设备 执行根据权利要求1至1 1中任一项所述的方法。 14.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序在被处理器执 行时使所述处 理器实现根据权利要求1至1 1中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115331309 A 3