(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210251826.X (22)申请日 2022.03.15 (71)申请人 沈阳航空航天大 学 地址 110136 辽宁省沈阳市道义经济开发 区道义南大街37号 (72)发明人 石祥滨　吴天宇　刘翠微　刘芳　 李琳　彭晋文　 (74)专利代理 机构 沈阳维特专利商标事务所 (普通合伙) 21229 专利代理师 陈福昌 (51)Int.Cl. G06V 40/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于行人特征的跨域检索和跟踪目标的方 法 (57)摘要 本发明提供了一种基于行人特征的跨域检 索和跟踪目标的方法， 包括对待检索和跟踪的目 标行人采集全身图像提取特征， 制作预采样特征 库， 为每个身份赋予id标签； 对每个身份创建轨 迹， 短帧轨迹窗口保存匹配到的目标行人的特 征； 统计目标行人在相机间的流动频次， 计算目 标行人的转移概率， 绘制相机拓扑图； 对每一帧 图像中的目标行人获取检测框， 对检测到的目标 行人提取特征， 与预采样特征库和短帧轨迹窗口 中的特征共同度量， 获得当前帧目标行人与轨迹 的匹配列表； 将当前帧的检测框与轨迹关联， 显 示预采样特征库中对应的id标签， 更新轨迹信 息， 并将当前特征加入短帧轨迹窗口， 结合预采 样特征库参与后续度量。 提高跟踪精度， 降低错 误匹配的概 率。 权利要求书2页 说明书9页 附图2页 CN 114581954 A 2022.06.03 CN 114581954 A 1.一种基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 所述跨域检索和跟 踪目标的方法包括： 预采样特征， 对多个待检索和跟踪的目标行人采集全身图像， 输入训练模型并提取外 观特征， 制作预采样特 征库， 并为每 个所述目标 行人赋予id标签； 初始化轨迹， 对所述预采样特征库中的每一个所述目标行人创建轨迹， 同时所述轨迹 还存在一个短帧轨 迹窗口， 所述短帧轨 迹窗口用于保存匹配到的所述目标 行人的特征； 相机拓扑计算， 根据实际相机位置信息， 统计任意行人在相机间的流动频次， 获得频 次‑时间直方图， 通过所述频次 ‑时间直方图计算所述任意行人在相 机间的转移概率， 并绘 制权重为概率的有向相机 拓扑图； 特征提取与度量， 在读取视频时， 对每一帧图像 中的行人进行检测获取检测框， 并对检 测到的行人提取特征， 与所述预采样特征库和所述和短帧轨迹窗口中的特征共同度量， 获 得相似度矩阵， 通过匈 牙利算法获得当前帧所述行 人与所述轨 迹的匹配列表； 关联轨迹， 通过所述匹配列表将当前帧的所述检测框与所述轨迹关联， 显示所述预采 样特征库中对应的id标签， 更新所述轨迹信息， 并将当前特征加入所述短帧轨迹窗口， 结合 所述预采样特 征库参与后续度量。 2.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 所 述预采样特 征包括： 目标特征提取， 对所述待检索和跟踪的所述目标行人预先准备1至n张全身图像输入行 人重识别网络中， 提取 所述外观特 征； 预采样特征库， 为每个所述目标行人赋予id标签， 并存储对应的预采样特征， 形成所述 预采样特 征库。 3.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 所 述相机拓扑计算包括： 拓扑判别， 根据当前相机数目， 判断是否需要设计拓扑结构， 若相机数目小于3， 则无需 所述拓扑 结构， 否则设计所述相机 拓扑； 相机场点设置， 为每个相机设置场点， 表示任意行人进入或退出所述相机视野的位置 区域， 记录所述任意行 人的坐标； 频次‑时间直方图统计， 根据现实场景中所有所述相机的位置， 统计从某个相机至另一 个相机的所述任意行 人流动频次， 使用parzen窗平 滑频次‑时间直方图； 获取拓扑关系， 排除不可能的相机间联系， 得到最终的有向相机 拓扑图。 4.根据权利要求1所述的基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 所 述特征提取与度量包括： 检测所述行人的特征提取， 所述相机进行行人的检测， 去除冗余检测和远视距目标， 提 取当前帧所有所述行 人的检测特 征集合； 查询特征集选择， 根据所述有向相机拓扑图确认当前所述相机的关联相机， 并获取其 在所述预采样特 征库中处于 “未跟踪”状态轨迹的特征集合； 级联匹配， 对所述当前相机的 “确认态”轨迹和“暂定态”轨迹优先与所述检测特征集合 做余弦度量， 剩余的未匹配检测则与关联相 机的轨迹做余弦度量， 得到多个所述相似度矩 阵；权　利　要　求　书 1/2 页 2 CN 114581954 A 2数据关联， 将所述相似度矩阵与设定的阈值比较， 超过所述阈值则设置为0， 并通过所 述匈牙利算法进行 数据关联， 获取 所述匹配列表。 5.根据权利要求4所述的基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 使 用YOLOv5作为检测器， 对每一帧图像进 行所述行人的检测， 使用NMS过滤所述冗余检测和远 视距目标。 6.根据权利要求4所述的基于行人特征的跨域检索和跟踪目标的方法， 其特征在于， 所 述关联轨 迹包括： 短轨迹窗口， 对成功关联的所述轨迹， 更新所述轨迹的状态， 并将它的特征加入所述短 帧轨迹窗口； 状态更新， 对与所述 “确认态”持续跟踪失败的所述轨迹， 将它的状态变更为 “未跟踪”， 并记录当前的相机编号。权　利　要　求　书 2/2 页 3 CN 114581954 A 3