(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210224741.2 (22)申请日 2022.03.09 (71)申请人 常州大学 地址 213164 江苏省常州市武进区湖塘镇 滆湖中路21号 (72)发明人 侯振杰　钟卓锟　施海勇　尤凯军　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 王慧 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/34(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于运动协同空间的人体行为识别方 法 (57)摘要 本发明公开了一种基于运动协同空间的人 体行为识别方法， 包括步骤： S1， 对于初始骨骼序 列和深度图序列分别进行基于运动状态衡量系 数的关键帧提取； S2,对步骤S1处理后的骨骼序 列， 提取运动协 同空间向量， 并拼接成运动协同 空间特征； 对步骤S1处理后的深度图序列提取 DMM特征， 得到深度运动图； S3,将深度运动图和 运动协同空间特征同时输入深度网络， 进行分数 融合。 本发明基于多模态融合的思想， 将骨骼数 据与深度数据进行结合， 使数据更加完整， 实现 多种异质信息的互补， 剔除模态间的冗余性， 建 立了一种新的行为识别方法体系， 为人体行为识 别方法研究和应用提供新的思路和理论依据。 权利要求书2页 说明书10页 附图3页 CN 114677621 A 2022.06.28 CN 114677621 A 1.一种基于运动协同空间的人体行为识别方法， 其特 征在于， 包括 步骤： S1， 对于初始骨骼序列和深度图序列分别进行基于运动状态衡量系数的关键帧提取； S2,对步骤S1处理后的骨骼序列， 提取运动协同空间向量， 并拼接成运动协同空间特 征； 对步骤S1处 理后的深度图序列提取DM M特征， 得到深度运动图； S3,将深度运动图和运动协同空间特 征同时输入深度网络， 进行分数融合。 2.根据权利要求1所述的基于运动协同空间的人体行为识别方法， 其特征在于， 所述步 骤S2中， 在提取运动协同空间向量时， 各关节的向量计算原则如下： 根据各关节点的运动变 化幅度， 各关节点分别乘上 各关节点相应的运动状态衡量系数后再相加。 3.根据权利要求2所述的基于运动协同空间的人体行为识别方法， 其特征在于， 所述各 关节点相应的运动状态衡量系数的实现步骤如下： S21， 以Spine点为原点坐标， 将相邻两帧图像之间指向同一骨骼点的两个空间向量所 形成的三角形的面积为S， 夹角为θ； 当θ∈(0,90 °]时： 当角度变化大于90 °时， 表示该部位的运动幅度更大， 为确保S与运动幅度继续保持正 相关， 当θ∈(90 °,180°]时： 其中， joint_1、 joint_2分别表示前后两帧图像中描述关节运动状态的空间向量； S22， 将两个 空间向量分别向XOY面、 YOZ面、 XOZ面投影后再分别计算面积SXOY、 SYOZ、 SXOZ； 将一个完整的骨骼图动作序列LeftArm、 RightArm、 LeftLeg、 RightLeg区域的n帧图像依次 处理： S23， 再将同一区域内的值做归一 化处理后， 得到运动状态衡量系数Wjoint： 4.根据权利要求2所述的基于运动协同空间的人体行为识别方法， 其特征在于， 所述各 关节点相应的运动状态衡量系数的关键帧提取时， 根据相邻两帧图像之间动作变化的差 异， 从两帧图像中抽出一帧， 用剩下的另一帧图像来代 表该相邻两帧图像； 相邻两帧之间动作变化的差异判断原则如下： 将相邻 两帧图像之间所有部位的运动状 态衡量系数加起来， 得到的值越大， 相邻两帧之间动作的差异越大， 反之则说明差异越小； 实现步骤如下： S031： 依次计算相邻两帧图像之间所有区域的运动 状态衡量系数之和， 得到n ‑1项运动 状态衡量系数的集 合： {W1,W2,W3…Wn‑1}； S032： 将相邻两项运动状态衡量系数相加， 得到衡量关键帧的动作变化 参数Ci： Ci＝Wi+Wi+1， i∈(1,n ‑2)；权　利　要　求　书 1/2 页 2 CN 114677621 A 2S033： 将Ci按照大小排序， 若第i项为 最小值， 则将第i+1帧图像删去： Cdelete＝min{C1， C2， C3…Cn‑2}； 重复步骤S0 31‑S033， 直到得到满足描述人体行为的关键帧序列为止 。 5.根据权利要求1所述的基于运动协同空间的人体行为识别方法， 其特征在于， 所述步 骤S3中， 所述深度网络选用小 型卷积神经网络VGG ‑16， 共训练 四个卷积神经网络， 一个用于 运动协同空间特征提取骨骼特征， 另外三个 分别用于D MM的三视图提取深度特征， 最后使用 加权融合法与乘积法对训练得到的分数进行融合。权　利　要　求　书 2/2 页 3 CN 114677621 A 3