(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210274825.7 (22)申请日 2022.03.18 (71)申请人 长沙理工大 学 地址 410114 湖南省长 沙市长沙理工大 学 (72)发明人 邓泽林　周浩　 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/10(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于骨骼节点的端到端人类行为识别 方法与模型 (57)摘要 本发明提出了一种基于骨骼节点的端到端 人类行为识别方法与模型。 深度学习网络模型的 构建包括： 视频序列人体行为跟踪； 骨骼关节点 检测识别； 生成骨骼序列时空图拓扑； 骨骼序列 训练前预处理； 使用深度学习网络训练获得的骨 骼时空序列以获取人类行为语义特征表示； 在不 同层网络结构中对骨骼关节点进行端到端的优 化； 最终网络分类器识别人类行为类别。 本发明 意在从视频序列获取人体骨骼关节 点， 通过提出 一个对骨骼关节实现端到端的优化的方法， 在深 度学习网络模型框架下对骨骼关节 图拓扑进行 建模， 学习一个更优的骨骼关节图拓扑结构， 从 而达到更优的行为识别准确率。 权利要求书2页 说明书8页 附图3页 CN 114613013 A 2022.06.10 CN 114613013 A 1.一种人体骨骼关节点检测的方法， 其特 征在于， 包括： 根据光线变化结合维度信 息从复杂背景中捕捉人体行为图像， 通过识别像素点的方式 将被测者的身体区域与其所处背景进行分离； 根据解刨特征和运动检测解刨人体骨骼结构， 获取骨骼时空序列特征图的骨骼关节特 征提取器， 将骨骼 时空序列图的关节按照不同的关节节点， 相同关节节点在不同时间帧中 的索引以及空间坐标向量进行样本标记； 根据所述骨骼数据原始样本进行数据增强操作， 将数据增强后的样本输入到有监督对 比学习表征网络， 以此获得 行为特征表征； 通过共享网络共享 时空对比学习表征网络编码器参数， 联合全连接层对所述视频序列 进行行为识别。 2.一种人体骨骼时空序列数据预处 理方法， 其特 征在于， 包括： 根据每个输入骨骼序列， 数据预处理阶段应用两次数据增强， 以获得两个输入样本副 本， 生成两个随机增广骨骼序列， 每 个序列表示数据的不同视图； 对同一输入骨骼序列样本的随机变换保留了相似的行为模式， 并隐含了原始骨骼序列 中的信息 子集。 3.一种时空语义信息图卷积网络模型架构， 其特征在于， 获取行为特征表示的具体步 骤， 包括： 根据所述数据预处理模块， 经数据增强操作后， 输入样本变为原始样本的两倍， 将两份 增强样本沿批次维度串联； 根据所述线性 回归函数构建输入样本骨骼信 息在高维空间的特征映射， 将映射到 高维 空间的特征表示经过时空特征提取器后， 学习 行为特征归一化后的单位超球面向量， 获得 特征投影网络所需的关键信息； 将经过所述的时空特征提取器模块训练后的表示向量投影到较低维空间， 同时将所学 习到的特 征送入到投影 器网络， 投影网络是一个带有ReLU 多层感知器。 4.如权利要求2所述的样本数据预处 理模型的构建方法， 其特 征在于， 包括： 根据骨骼时空序列输入样本， 利用数据增强策略对其进行三维时空向量变换， 如使用 剪切， 翻转， 颠倒， 高斯模糊等奖输入的骨骼时空样本数据做不同的线性映射矩阵变换； 根据骨骼时空序列特 征在预处 理中做局部特 征和全局特 征构建样本数据增强。 5.根据权利要求3所述的时空语义信 息图卷积网络模型构造的方法， 其特征在于， 对于 经过数据预处 理后的骨骼序列特 征在时间与空间中构建图卷积网络学习模型， 包括： 根据所述数据预处 理后的输入骨骼序列得到时空图， 保留骨骼关键节点的空间信息； 根据所述 时空图结合 时间序列边表示骨骼关键节点的运动行为轨迹， 以此构建多维时 空特征判别模型， 以完全提取信息性关键节点的局部以及全局的特 征表示。 6.一种骨骼关节节点端到端优化的模型构建方法， 其特征在于， 在不同深度学习的网 络层上使用不同的骨骼序列图拓扑， 优化网络学习到的行为特 征。 7.根据权利要求6所述的骨骼关节节点端到端优化的模型构建方法， 其特征在于， 挖掘 特征训练在不同的图卷积网络层之间搜索到更优的骨骼图拓扑 结构， 包括： 根据所述深度学习图卷积网络在不同图卷积层使用不同的骨骼图拓扑 结构； 根据所述的骨骼图拓扑， 一个动态且灵活 的图拓扑能带来一个关节节点间的依赖关系权　利　要　求　书 1/2 页 2 CN 114613013 A 2邻接矩阵， 其邻接矩阵能表示 不同关节 节点间的联系强度。 8.根据权利要求2 ‑6所述基于深度 学习的骨骼关节端到端优化的方法提出一个完整的 学习框架， 其特征在于构建一个动态灵活的骨骼序列图拓扑使其从底层网络到高层网络学 习到不同的特征表示， 根据所述输入骨骼序列样本执行数据预处理操作， 将所述图卷积网 络通过将数据预处 理后的骨骼序列样本与关节 节点联系矩阵相结合 来学习到行为特 征。权　利　要　求　书 2/2 页 3 CN 114613013 A 3