(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210226269.6 (22)申请日 2022.03.09 (71)申请人 北京信智文科技有限公司 地址 101300 北京市顺 义区金关北二 街3号 院2号楼1 1层1109 (72)发明人 朱磊　杨森　 (74)专利代理 机构 北京律谱知识产权代理有限 公司 11457 专利代理师 黄云铎　孟德洲 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/277(2017.01) (54)发明名称 基于时空交互网络的群体猴子动作识别方 法 (57)摘要 本申请公开了基于时空交互网络的群体猴 子动作识别方法， 包括： 搭建三层依次为位置和 类别识别层、 特征图处理层以及动作推理层的群 猴动作识别模 型， 位置和类别识别层中的残差网 络通过第一区域生成网络连接于特征图处理层 的第二接口， 特征图处理层将当前帧中不同动作 主体的位置和类别信息转化为多维张量， 以动作 主体的位置信息作为索引， 从第一区域生成网络 中选取感兴趣区域， 与多维张量进行叠加， 动作 推理层按照时间顺序， 将叠加结果组成三维数据 组， 进行移位操作生成动作推理张量， 输出动作 主体位置对应的动作类别； 利用猴群动作数据对 群猴动作识别模型进行训练， 直至模型收敛。 通 过本申请中的技术方案， 解决了笼子中群体猴子 动作识别的问题。 权利要求书2页 说明书8页 附图3页 CN 114596587 A 2022.06.07 CN 114596587 A 1.基于时空 交互网络的群 体猴子动作识别方法， 其特 征在于， 所述方法包括： 搭建群猴动作识别模型， 其中， 所述群猴动作识别模型至少包括三层， 依次为位置和类 别识别层、 特征图处理层以及动作推理层， 所述位置和 类别识别层中的残差网络ResNet通 过第一区域生成网络RPN连接于所述特征图处理层的第二接口， 所述位置和 类别识别层用 于识别当前帧中动作主体的位置和类别 信息， 所述特征图处理层用于将所述当前帧中不同动作主体的位置和类别信息转化为多维 张量， 并以所述位置和类别识别层确定的动作主体的位置信息作为索引， 从所述第一区域 生成网络RPN中选取对应位置的感兴趣 区域RoI， 并将所述感兴趣 区域RoI与所述多维张量 进行叠加， 所述动作推理层用于按照时间顺序， 将所述特征图处理层输出的叠加结果组成三维数 据组， 并对所述三 维数据组在时间维度上进 行上下双向移 位操作， 生 成动作推理张量， 以输 出所述位置和类别识别层确定的动作主体位置对应的动作类别； 利用猴群动作 数据对所述群猴动作识别模型进行训练， 直至所述群猴动作识别模型收 敛， 其中， 收敛后的群猴动作识别模型用于对群 体猴子进行动作识别。 2.如权利要求1所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 位置和类别识别层的输出结果至少包括边界框bounding  box的位置信息以及对应动作主 体的类别 信息， 所述特征图处理层中将所述感兴趣区域Ro I与所述多维张量进行叠加， 具体包括： 将边界框bounding  box的位置信息和对应动作主体的类别信息串联， 组成输入信息， 输入至多层感知器， 由所述多层感知器输出所述当前帧中不同动作主体的位置和类别信 息； 根据设定的动作主体数量， 将所述多层感知器的输出数据拼接组成多维张量， 所述动 作主体数量 为所述多维张量的列数； 以所述位置和类别识别层确定的动作主体的位置信 息作为索引， 从所述第 一区域生成 网络RPN中选取对应位置的感兴趣区域Ro I； 调整所述感兴趣区域Ro I的维度调整为所述多维张量的维度； 采用相加的方式， 将调整维度后的感兴趣区域Ro I与所述多维张量进行叠加。 3.如权利要求1所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 群猴动作识别模型还 包括： 头部区域识别层； 所述头部区域识别层设置有依次连接的第二区域生成网络RPN2和第二感兴趣区域池 化RoIpooling2模块， 其中， 所述位置和类别识别层中的残差网络ResNet分别连接于所述第二区域生成网络 RPN2的输入端和所述第二感兴趣区域池化Ro I pooling2模块的输入端， 所述第二感兴趣区域池化RoI  pooling2模块的输出端通过全连接层连接于所述位置 和类别识别层中的分类 器softmax。 4.如权利要求1所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 方法还包括： 搭建猴群动作数据库， 所述猴群动作数据库中存储有多个所述猴群动作数据， 所述猴 群动作数据由相 机拍摄笼子中的猴群获得， 所述猴群中的猴子佩戴有项圈， 所述项圈为不权　利　要　求　书 1/2 页 2 CN 114596587 A 2同颜色的制式项圈。 5.如权利要求4所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 相机为多个， 多个所述相 机被安装在所述笼子的不同位置处， 所述位置至少包括笼子的正 视面底部、 正视面顶部、 侧视面、 俯视面， 多个所述相机用于获取不同视角下所述笼子中所 述猴群的所述猴群动作数据。 6.如权利要求5所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 搭建猴群动作数据库， 具体包括： 在所述笼子的不同位置处安装多个所述相机， 多个所述相机用于获取不同视角下所述 笼子中所述猴群的视频 数据； 根据所述视频数据对应相机的安装位置， 对所述视频数据进行分类， 并根据所述视频 数据中猴子数量进行筛 选， 以删除所述猴子数量小于阈值的视频 数据； 对筛选后的视频数据进行分帧处理， 并根据预设分段间隔， 对分帧后的视频数据进行 分段处理， 采集分段 处理后的视频数据中的关键帧， 其中， 所述关键帧为彼此间隔为7帧的3 帧图像； 根据定义的群体猴子的动作， 对采集的所述关键帧进行人工数据标注， 记作所述猴群 动作数据， 并搭建所述猴群动作数据库。 7.如权利要求6所述的基于时空交互网络的群体猴子动作识别方法， 其特征在于， 所述 搭建猴群动作数据库， 具体还 包括： 对所述猴群动作数据进行翻转扩充操作， 以实现对所述猴群动作数据库中的猴群动作 数据扩充， 所述翻转扩充操作为左右翻转扩充操作。权　利　要　求　书 2/2 页 3 CN 114596587 A 3