(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137075.5 (22)申请日 2022.09.19 (71)申请人 高新兴科技 集团股份有限公司 地址 510670 广东省广州市黄埔区科 学城 开创大道 2819号六楼 (72)发明人 王祥雪　陈利军　林国辉　林焕凯　 洪曙光　刘双广　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 钟文瀚 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多目标跟踪方法、 装置、 设备及存储介 质 (57)摘要 本发明公开了一种多目标跟踪方法、 装置、 设备及存储介质， 将实时获取的图像帧输入到主 干网络进行特征提取， 得到当前图像帧的当前特 征图； 基于提取的当前特征图进行目标检测， 确 定所述当前特征图的检测特征和检测框的目标 位置； 采用互相关的运动预测对检测特征进行再 对齐， 获得与所述检测框准确匹配的目标特征； 在预先建立的特征库中查询上一时刻目标的跟 踪特征和跟踪位置； 根据所述检测框的目标特征 和目标位置， 以及所述跟踪特征和跟踪位置， 进 行特征匹配检测和IOU匹配检测； 根据特征匹配 检测结果和IOU匹配检测结果输出对当前图像帧 的跟踪结果， 并更新所述特征库。 实现实时目标 检测追踪的同时， 保证优异的特征提取能力和鲁 棒性。 权利要求书3页 说明书11页 附图3页 CN 115527143 A 2022.12.27 CN 115527143 A 1.一种多目标跟踪方法， 其特 征在于， 所述方法包括： 将实时获取的图像帧输入到主干网络进行 特征提取， 得到当前图像帧的当前 特征图； 基于提取的当前特征图进行目标检测， 确定所述当前特征图的检测特征和检测框的目 标位置； 采用互相关的运动预测对检测特征进行再对齐， 获得与 所述检测框准确匹配的目标特 征； 在预先建立的特征库中查询当前已检测出的所有目标的上一 时刻的特征， 获取上一 时 刻目标的跟踪特 征和跟踪位置； 根据所述检测框的目标特征和目标位置， 以及所述跟踪特征和跟踪位置， 进行特征匹 配检测和IOU匹配 检测； 根据特征匹配检测结果和IOU匹配检测结果输出对当前图像帧的跟踪结果， 并更新所 述特征库。 2.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述基于提取的当前特征图进 行目标检测， 确定所述当前 特征图的检测特 征和检测框的目标位置， 具体包括： 采用编码器对所述当前 特征图进行编码； 将编码后的当前特征图输入到译码器中， 利用目标检测模型对编码后的当前特征图进 行查询， 得到所述当前 特征图的检测特 征； 通过前向操作获取所述检测特征在所述当前特征图的检测框的坐标， 作为所述目标位 置。 3.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述采用互相关的运动预测对 检测特征进行再对齐， 获得与所述检测框准确匹配的目标 特征， 具体包括： 将所述当前特征图的检测 特征Ft与全局特征St进行逐通道的互相关操作， 计算两者的 相关性； 再通过卷积操作， 预测出密集的位置特 征图Pt； 对所述检测特征Ft的坐标的偏移量进行编码， 确定对齐的检测框的坐标， 并根据对齐的 检测框得到准确匹配后的目标 特征； 其中， 对齐的检测框的左上角坐标和右下角坐标分别为(Xl+Δx1， Yl+Δy1)和(X2+Δx2， Y2+Δy2)， (Xl， Yl)和(X2， Y2)分别为检测特征Ft的左上角和右下角的坐标， 用于标记检测特 征Ft的坐标位置， Δx1和Δy1为检测框左上角对齐的偏移量， Δx2和Δy2为检测框右下角对 齐的偏移量。 4.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述从预先建立的特征库中查 询当前已检测出的所有目标的上一时刻的特征， 获取上一时刻目标的跟踪特征和跟踪位 置， 具体包括： 根据待跟踪目标的ID在所述特征库中查询该目标上一 时刻的上一特征图， 从所述上一 特征图中查询得到对应目标的跟踪特 征和跟踪位置 。 5.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述根据 特征匹配检测结果和 IOU匹配检测结果输出对当前图像帧的跟踪结果， 具体包括： 当所述特征匹配检测结果为所述目标特征和所述跟踪特征匹配， 且所述IOU匹配检测 结果为所述目标位置和所述跟踪位置的重叠度不小于预设阈值时， 输出跟踪 结果为待跟踪权　利　要　求　书 1/3 页 2 CN 115527143 A 2目标匹配正常； 当所述特征匹配检测结果为所述目标特征和所述跟踪特征匹配， 且所述IOU匹配检测 结果为所述目标位置和所述跟踪位置的重叠度小于所述阈值时， 输出跟踪 结果为检测到相 似目标； 当所述特征匹配检测结果为所述目标特征和所述跟踪特征不匹配， 且所述IOU匹配检 测结果为所述目标位置和所述跟踪位置的重叠度不小于所述阈值时， 输出跟踪结果为待检 测目标被遮挡； 当所述特征匹配检测结果为所述目标特征和所述跟踪特征不匹配， 且所述IOU匹配检 测结果为所述目标位置和所述跟踪位置的重叠度小于所述阈值时， 输出跟踪 结果为检测到 新目标。 6.根据权利要求5所述的多目标跟踪方法， 其特征在于， 所述特征库的更新过程具体包 括： 当输出的跟踪结果为待跟踪目标匹配正常时， 采用所述当前特征图更新所述特征库中 的上一特征图， 并采用所述目标特征和目标位置更新所述特征库中待跟踪目标的ID对应的 跟踪特征和跟踪位置； 当输出的跟踪结果为检测到相似目标时， 在所述特征库中生成相似目标的新建ID， 将 所述目标 特征和目标位置存 储为所述特 征库中所述 新建ID的跟踪特 征和跟踪位置； 当输出的跟踪结果为待检测目标被遮挡， 不更新所述待检测目标在所述特征库中的上 一特征图， 采用所述目标位置更新所述特 征库中待跟踪目标的ID对应的跟踪位置； 当输出的跟踪结果为检测到新目标， 在所述特征库中生成新目标的新目标ID， 将所述 目标特征和目标位置存 储为所述特 征库中所述 新目标ID的跟踪特 征和跟踪位置 。 7.根据权利要求1所述的多目标跟踪方法， 其特征在于， 所述主干网络采用Yolo ‑v5模 型进行特征提取。 8.一种多目标跟踪装置， 其特 征在于， 所述装置包括： 特征提取模块， 用于将实时获取的图像帧输入到主干网络进行特征提取， 得到当前图 像帧的当前 特征图； 特征确定模块， 用于基于提取的当前特征图进行目标检测， 确定所述当前特征图的检 测特征和检测框的目标位置； 对齐模块， 用于采用互相关的运动预测对检测特征进行再对齐， 获得与所述检测框准 确匹配的目标 特征； 跟踪模块， 用于在预先建立的特征库中查询当前已检测出的所有目标的上一 时刻的特 征， 获取上一时刻目标的跟踪特 征和跟踪位置； 匹配模块， 用于根据所述检测框的目标特征和目标位置， 以及所述跟踪特征和跟踪位 置， 进行特征匹配检测和IOU匹配 检测； 结果输出模块， 用于根据特征匹配检测结果和IOU匹配检测结果输出对当前图像帧的 跟踪结果， 并更新所述特 征库。 9.一种终端设备， 其特征在于， 包括处理器、 存储器以及存储在所述存储器中且被配置 为由所述处理器执行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 至7中任意 一项所述的多目标跟踪方法。权　利　要　求　书 2/3 页 3 CN 115527143 A 3