(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211132430.X (22)申请日 2022.09.06 (71)申请人 河南人梯互通科技有限公司 地址 450000 河南省郑州市郑州航空港经 济综合实验区新港九路与航兴路交汇 处东南侧美创 国际科技产业园A-2-2 号房 (72)发明人 吴小艳　徐俊峰　尹彬　李志刚　 周丹　杜欢欢　 (74)专利代理 机构 郑州丞山知识产权代理事务 所(普通合伙) 41225 专利代理师 周秉彦 (51)Int.Cl. G06V 20/40(2022.01) G06V 20/52(2022.01)G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06Q 10/00(2012.01) (54)发明名称 一种电梯维护保养监督数据识别方法及其 系统 (57)摘要 本申请公开了一种电梯维护保养监督数据 识别方法及其系统， 其从智能手机实时采集并上 传的电梯维修监控视频以人员和电梯为目标分 别提取感兴趣区域， 并通过特征提取器得到人员 对象特征向量和电梯对象特征向量。 考虑到人的 行为特征作用于电梯对象 的特征呈现， 因此还需 要关注人与电梯之间的交互特征， 在本申请的技 术方案中， 以各个时间点的人员行为特征和电梯 对象特征之间的关联矩 阵来表示维修人员与电 梯之间的交互信息。 这样， 能够基于电梯监控数 据来对维修人员的维修行为是否异常进行智能 监控。 权利要求书3页 说明书12页 附图5页 CN 115410132 A 2022.11.29 CN 115410132 A 1.一种电梯维护保养监 督数据识别方法， 其特 征在于， 包括： 获取由智能手机实施采集并上传的电梯维修 监控视频； 利用差帧法从所述电梯维修 监控视频中提取多个关键帧； 将所述多个关键帧中各个关键帧分别通过人员目标检测网络以得到多个第一感兴趣 区域； 将所述多个关键帧中各个关键帧分别通过电梯目标检测网络以得到多个第二感兴趣 区域； 将所述多个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人 员动作特 征提取器以得到多个人员对象特 征向量； 将所述多个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电 梯特征提取器以得到多个电梯对象特 征向量； 基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数， 分别 对所述多个人员对象特征向量中各个人员对 象特征向量进行波函数表征聚合以得到多个 校正后人员对象特 征向量； 基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数， 分别 对所述多个电梯对象特征向量中各个电梯对 象特征向量进行波函数表征聚合以得到多个 校正后电梯对象特 征向量； 分别计算所述多个校正后人员对象特征向量和所述多个校正后电梯对象特征向量中 每组对应的校正后人员对 象特征向量的转置 向量和所述校正后电梯对 象特征向量之间的 乘积以得到多个协同特 征矩阵； 将所述多个协同特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网 络模型以得到分类特 征图； 以及 将所述分类特征图通过分类器以得到分类结果， 所述分类结果用于表示维修人员维修 电梯的维修行为是否正常。 2.根据权利要求1所述的电梯维护保养监督数据识别方法， 其特征在于， 所述利用差帧 法从所述电梯维修 监控视频中提取多个关键帧， 包括： 提取所述电梯维修 监控视频中的所有图像帧； 设定所述所有图像帧的初始帧为第一关键帧； 计算所述所有图像帧中与所述第一关键帧相邻的图像帧与所述第一关键帧之间的按 位置差分以得到 差分图像帧； 计算所述差分图像帧中所有像素位置的像素值的均值和标准差； 以及 基于所述标准差和所述均值的加权和与 预定阈值之间的比较， 确定所述与 所述第一关 键帧相邻的图像帧是否为第二关键帧。 3.根据权利要求2所述的电梯维护保养监督数据识别方法， 其特征在于， 所述人员目标 检测网络和所述电梯目标检测网络为基于锚窗的目标检测网络， 所述基于锚窗的目标检测 网络为Fast  R‑CNN、 Faster R‑CNN或RetinaNet。 4.根据权利要求3所述的电梯维护保养监督数据识别方法， 其特征在于， 所述将所述多 个第一感兴趣区域中各个第一感兴趣区域分别通过具有多个全连接层的人员动作特征提 取器以得到多个人员对象特 征向量， 包括：权　利　要　求　书 1/3 页 2 CN 115410132 A 2使用所述具有多个全连接层的人员动作特征提取器以如下公式分别对所述所述多个 第一感兴趣区域中各个第一感兴趣区域进行全连接编码以得到所述多个人员对 象特征向 量； 其中， 所述公式为： ， 其中 是第一感兴趣区域， 是人员对象特征 向量， 是权重矩阵， 是偏置向量， 表示矩阵乘。 5.根据权利要求4所述的电梯维护保养监督数据识别方法， 其特征在于， 所述将所述多 个第二感兴趣区域中各个第二感兴趣区域分别通过具有多个全连接层的电梯特征提取器 以得到多个电梯对象特 征向量， 包括： 使用所述具有多个全连接层的电梯特征提取器以如下公式分别对所述多个第二感兴 趣区域中各个第二感兴趣区域进行全连接编码以得到所述多个电梯对象特 征向量； 其中， 所述公式为： ， 其中 是第二感兴趣区域， 是电梯对象特征 向量， 是权重矩阵， 是偏置向量， 表示矩阵乘。 6.根据权利要求5所述的电梯维护保养监督数据识别方法， 其特征在于， 所述基于所述 多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数， 分别对所述多个人 员对象特征向量中各个人员对 象特征向量进行波函数表征聚合以得到多个校正后人员对 象特征向量， 包括： 基于所述多个人员对象特征向量中各个人员对象特征向量的最大特征值的倒数， 以如 下公式对所述多个人员对 象特征向量中各个人员对 象特征向量进行波函数表征聚合以得 到所述多个校正后人员对象特 征向量； 其中， 所述公式为： 其中， 表示人员对象特征向量， 表示人员对象特征向量的最大特征值的倒数， 表示按位置点乘。 7.根据权利要求6所述的电梯维护保养监督数据识别方法， 其特征在于， 所述基于所述 多个电梯对象特征向量中各个电梯 对象特征向量的最大特征值的倒数， 分别对所述多个电 梯对象特征向量中各个电梯对 象特征向量进行波函数表征聚合以得到多个校正后电梯对 象特征向量， 包括： 基于所述多个电梯对象特征向量中各个电梯对象特征向量的最大特征值的倒数， 以如 下公式对所述多个电梯对 象特征向量中各个电梯对 象特征向量进行波函数表征聚合以得 到所述多个校正后电梯对象特 征向量； 其中， 所述公式为： 其中， 表示电梯对象特征向量， 表示电梯对象特征向量的最大特征值的倒数， 表示按位置点乘。 8.根据权利要求7所述的电梯维护保养监督数据识别方法， 其特征在于， 所述将所述多 个协同特征矩阵排列为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到权　利　要　求　书 2/3 页 3 CN 115410132 A 3