(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210246685.2 (22)申请日 2022.03.14 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 马昕　田皓宇　李贻斌　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 40/20(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于广义卷积神经网络的骨架异常步 态识别方法及系统 (57)摘要 本发明属于步态分析领域， 提供了一种基于 广义卷积神经网络的骨架异常步态识别方法及 系统。 该方法包括， 以下肢关节为节点， 以骨骼为 边构造步态图； 根据距离和空间关系对步态图中 的相邻节 点进行分组， 将非欧结构的步态图规范 化为欧几里德特征图； 其中， 节点的位置关系编 码了关节之间的连接性； 采用广义卷积网络来建 模规范化欧几里德特征图中编码的几何特征， 将 卷积核从图像中提取纹理表示的能力泛化到提 取步态图几何特征中， 得到时空邻居节点特征聚 合的步态特征图； 根据步态特征图， 预测异常步 态分类结果。 权利要求书2页 说明书8页 附图5页 CN 114582023 A 2022.06.03 CN 114582023 A 1.一种基于广义卷积神经网络的骨架 异常步态 识别方法， 其特 征在于， 包括： 以下肢关节为节点， 以骨骼为 边构造步态图； 根据距离和空间关系 对步态图中的相邻节点进行分组， 将 非欧结构的步态图规范化为 欧几里德特 征图； 其中， 节点的位置关系编码了关节之间的连接性； 采用广义卷积网络来建模规范化欧几里德特征图中编码的几何特征， 将卷积核从图像 中提取纹理表示的能力泛化到提取步态图几何特征中， 得到时空邻居节点特征聚合的步态 特征图； 根据步态特 征图， 预测异常步态分类结果。 2.根据权利要求1所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 所述根据距离和空间关系对步态图中的相邻节点进行分组具体包括： 根据设定的空间 感知域将步态图中的邻居节点划分为一定数量的子集， 以使步态图划分为一定数量的子 图。 3.根据权利要求2所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 将步态图的邻接矩阵也划分为 一定数量的子矩阵。 4.根据权利要求1所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 所述将卷积核从图像中提取纹理表示的能力泛化到提取步态图几何特征中具体包括： 通过在规范化的步态图上沿时空同步 维度滑动卷积核来建模骨架节点的时空依赖性， 以达 到将卷积核提取图像纹 理特征的能力泛化到步态图上的目的。 5.根据权利要求4所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 所述通过在规范化的步态图上沿时空同步维度滑动卷积核来建模骨架节点的时空依赖 性具体包括： 通过在规范化的步态图上滑动空间同步卷积核来构建骨架节点的空间依赖 性， 通过在规范化的步态图上滑动时间同步卷积核来构建骨架 节点的时间依赖性。 6.根据权利要求1所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 所述邻居节点特 征聚合等价与具有随机游走规范化邻接矩阵的图卷积： 其中， TCN是 时间卷积， 是规范化的l层的步态特征图， Spati al‑CNN是空间卷积网 络。 7.根据权利要求1所述的基于广义卷积神经网络的骨架异常步态识别方法， 其特征在 于， 所述根据步态特征图， 预测异常步态分类结果具体包括： 将步态特征图依次输入全局平 均池化层、 全连接层和Soft  max函数， 得到异常步态分类结果。 8.一种基于广义卷积神经网络的骨架 异常步态 识别系统， 其特 征在于， 包括： 图构建模块， 其被 配置为： 以下肢关节为节点， 以骨骼为 边构造步态图； 规范化模块， 其被配置为： 根据距离和空间关系对步态图中的相邻节点进行分组， 将 非 欧结构的步态图规范化为欧几里德特征图； 其中， 节点的位置关系编码了关节之间的连接 性； 建模模块， 其被配置为： 采用广义卷积网络来建模规范化欧几里德特征图中编码的几 何特征， 将卷积核从图像中提取纹理表示的能力泛化到提取步态图几何特征中， 得到时空权　利　要　求　书 1/2 页 2 CN 114582023 A 2邻居节点特 征聚合的步态特 征图； 预测模块， 其被 配置为： 根据步态特 征图， 预测异常步态分类结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现如权利要求1 ‑7中任一项 所述的基于广义卷积神经网络的骨架异常步态识别方法 中的步骤。 10.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求 1‑7中任一项 所述的基 于广义卷积神经网络的骨架 异常步态 识别方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114582023 A 3