(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229660.1 (22)申请日 2022.03.09 (71)申请人 长沙海信智能系统研究院有限公司 地址 410017 湖南省长 沙市岳麓区洋湖街 道潇湘南路一段368号中盈广场C座5 层502号 (72)发明人 闾凡兵　潘景渝　曹达　秦拯　 姚胜　 (74)专利代理 机构 北京东方亿 思知识产权代理 有限责任公司 1 1258 专利代理师 黄亚雄 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 目标对象的状态检测方法 (57)摘要 本申请公开了一种目标对象的状态检测方 法。 该方法包括： 获取待检测视频帧； 通过目标检 测模型检测待检测视频帧中的目标对象， 得到标 记有检测框的第一视频帧； 将第一视频帧中的目 标对象与至少一个第一对象进行匹配， 确定第一 视频帧中的目标对象 的身份信息； 根据身份信息 确定目标对象是否存在于第二视频帧中， 第二视 频帧为待检测视频帧的前一帧； 在目标对象存在 于第二视频帧中的情况下， 更新目标对象的滞留 时间； 在滞留时间大于第一阈值的情况下， 确定 目标对象处于滞留状态。 采用本申请提供的目标 对象的状态检测方法， 可以实现对 人员滞留的自 动检测， 无需人工参与， 提高了检测的实时性和 准确性。 权利要求书3页 说明书13页 附图5页 CN 114821457 A 2022.07.29 CN 114821457 A 1.一种目标对象的状态检测方法， 其特 征在于， 包括： 获取待检测视频帧； 将所述待检测视频帧输入到目标检测模型， 通过所述目标检测模型检测所述待检测视 频帧中的目标对象， 得到标记有检测框的第一视频帧； 将所述第一视频帧中的目标对象与至少一个第 一对象进行匹配， 确定所述第 一视频帧 中的目标对象的身份信息， 所述第一对象为已确定身份信息的对象； 根据所述身份信 息确定所述目标对象是否存在于第 二视频帧中， 所述第 二视频帧为所 述待检测视频帧的前一帧； 在所述目标对象存在于第二视频帧中的情况 下， 更新所述目标对象的滞留时间； 在所述滞留时间大于第一阈值的情况 下， 确定所述目标对象处于滞留状态。 2.根据权利要求1所述的方法， 其特征在于， 在所述根据 所述身份信 息确定所述目标对 象是否存在于第二视频帧中之后， 所述方法还 包括： 在所述目标对象不存在于第 二视频帧中的情况下， 更新所述目标对象的滞留时间和消 失时间； 在所述消失时间小于或等于第 二阈值的情况下， 确定所述滞留时间是否大于所述第 一 阈值； 在所述滞留时间大于第一阈值的情况 下， 确定所述目标对象处于滞留状态； 在所述消失时间大于第二阈值的情况下， 初始化所述目标对象的特征信息， 所述特征 信息包括所述目标对象的位置信息和轮廓特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述将所述第 一视频帧中的目标对象与至 少一个第一对象进行匹配， 确定所述第一视频帧中的目标对象的身份信息， 包括： 对于所述第一视频帧中的每 个检测框， 分别执 行如下步骤： 获取所述检测框的第 一特征信 息， 所述第 一特征信 息包括所述检测框的第 一位置信 息 和所述检测框中的目标对象的第一轮廓特征， 所述第一轮廓特征是将所述第一视频帧输入 到行人重识别Fast ‑Reid模型中得到的； 对所述第一特征信 息与至少一个第 二特征信 息进行匹配， 所述至少一个第 二特征信 息 是根据至少一个第一对象对应的第三特征信息预测得到的， 所述第二特征信息包括所述第 一对象对应的预测框的第二位置信息和所述第一对 象在至少一个视频帧中出现时的第二 轮廓特征； 在确定所述第一特征信息与至少一个第二特征信息中的目标特征信息相匹配的情况 下， 确定所述第一特征信息对应的目标对象的身份信息为所述目标特征信息对应的第一对 象的身份信息 。 4.根据权利要求3所述的方法， 其特征在于， 所述对所述第 一特征信 息与至少一个第 二 特征信息进行匹配， 包括： 对所述第一特征信 息与至少一个第四特征信 息进行级联匹配， 所述第 二特征信 息包括 第四特征信息和 第五特征信息， 所述第四特征信息是根据已经连续匹配成功达到预设次数 的特征信息预测得到的， 所述第五特征信息是根据连续匹配成功未达到预设次数的特征信 息预测得到的； 在级联匹配成功的情况下， 确定所述第 一特征信 息与至少一个第四特征信 息中的目标权　利　要　求　书 1/3 页 2 CN 114821457 A 2特征信息相匹配； 在级联匹配失败的情况下， 对所述第 一特征信 息与至少一个第 二特征信 息进行交并比 IOU匹配； 在IOU匹配成功的情况下， 确定所述第一特征信息与至少一个第二特征信息中的目标 特征信息相匹配。 5.根据权利要求4所述的方法， 其特征在于， 在所述对所述第 一特征信 息与至少一个第 二特征信息进行IOU匹配之后， 所述方法还 包括： 在IOU匹配失败的情况下， 确定所述第一特征信息对应的目标对象的身份信息为第一 身份信息， 所述第一身份信息与任一第一对象的身份信息均不同。 6.根据权利要求4所述的方法， 其特征在于， 所述对所述第 一特征信 息与至少一个第四 特征信息进行级联匹配， 包括： 按照预设时长确定目标时刻 之前的第 一时间段， 所述目标时刻为待检测视频帧对应的 时刻； 将所述第一特征信息与最后一次出现的时刻在所述第一时间段之内的第一对象对应 的第四特 征信息进行匹配， 得到 至少一个匹配度； 在所述至少一个匹配度中的最大值大于第 三阈值的情况下， 确定所述最大值对应的第 六特征信息为目标 特征信息； 在所述至少一个匹配度中的最大值小于或等于第 三阈值的情况下， 按照预设时长确定 所述第一时间段之前 的第二时间段， 并将所述第二时间段更新为第一时间段， 基于更新后 的第一时间段返回所述将所述第一特征信息与最后一次出现的时刻在所述第一时间段之 内的第一对 象对应的第四特征信息进行匹配， 得到至少一个匹配度， 直至确定目标特征信 息或匹配次数达 到第四阈值 为止。 7.根据权利要求4所述的方法， 其特征在于， 所述对所述第 一特征信 息与至少一个第四 特征信息进行级联匹配， 包括： 根据所述第 一轮廓特征和所述至少一个第四特征信 息包括的第 三轮廓特征， 分别计算 所述第一特 征信息和每 个第四特 征信息的余弦距离， 得到代价矩阵； 根据所述第 一位置信 息和所述至少一个第四特征信 息包括的第 三位置信 息， 分别计算 所述第一特 征信息和每 个第四特 征信息的马氏距离； 通过所述马氏距离约束所述代价矩阵； 将约束后的代价矩阵输入匈 牙利算法， 得到匹配级联 结果。 8.根据权利要求7所述的方法， 其特征在于， 所述根据所述第 一轮廓特征和所述至少一 个第四特征信息包括的第三轮廓特征， 分别计算所述第一特征信息和每个第四特征信息的 余弦距离， 包括： 每个第三轮廓特征包括所述第四特征信息对应的第二对象在至少一个视频帧中出现 时的第四轮廓特 征， 对每个第三轮廓特 征， 分别执 行以下步骤： 计算所述第一轮廓特征和每个第四轮廓特征的余弦距离， 得到至少一个第一余弦距 离； 确定所述至少一个第一 余弦距离中大于第五阈值的第二 余弦距离； 在所述第二余弦距离的数量和所述第一余弦距离的数量的比值大于第六阈值的情况权　利　要　求　书 2/3 页 3 CN 114821457 A 3