(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210732905.2 (22)申请日 2022.06.27 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 申请人 北京航空航天大 学江西研究院 (72)发明人 百晓　张鹏程　郑锦　王晨　程姗　 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/46(2022.01) G06V 10/44(2022.01) G06V 10/42(2022.01)G06V 10/25(2022.01) G06V 10/22(2022.01) (54)发明名称 一种基于双层显著特征的端到端行人搜索 方法 (57)摘要 本发明公开一种基于双层显著特征的端到 端行人搜索方法， 本方法包括： 1)检测分支对输 入图像进行行人检测， 输出行人边界框以及分类 分数； 2)ID分配模块为每个边界框分配其对应的 行人身份ID； 3)ROI对齐对ID分配传递的每个边 界框进行处理； 4)重识别分支对ROI特征进行处 理获得显著特征， 然后通过 实例层次和局部层次 显著特征的优化使模型提取出有区分性的特征 用于搜索目标行人。 本发明在一定程度上提高了 行人搜索的性能， 同时具有较强的鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 115063888 A 2022.09.16 CN 115063888 A 1.一种基于双 层显著特 征的端到端行 人搜索方法， 其特 征在于， 包括以下步骤： 1)检测分支对输入图像进行行人检测， 输出行人边界框以及分类分数， 具体地， 采用现 有的Sparse  R‑CNN模型对输入图像进行行人检测， 输出N组检测结果， 每组结果包含一个行 人边界框以及所述 边界框内行 人的分类分数， N优选为3 00； 2)ID分配模块为每个边界框分配其对应的行人身份ID， 分配ID前去除行人检测分类分 数小于M的结果， 保留其余的边界框称为剩余边界框， 并为所述剩余边界框 分配其对应的行 人身份ID； 同时， ID分配模块将数据标注中的真实行人边界框加入剩余边界框内， 并为每个 真实行人边界框分配其在标注中对应的行 人身份ID， M优选为0.2； 3)ROI对齐对ID分配传递的每个边界框进行处理， 所述边界框包含剩余边界框和真实 行人边界框， 具体地通过特征金字塔网络FPN的横向卷积输出全图多尺度特征， 从所述全图 多尺度特征上提取出多尺度的边界框内行人特征， 将获得的多尺度的边界框内行人特征在 通道维度进行拼接， 最后通过一个3 ×3的卷积层进行多尺度特 征融合获得ROI特 征； 4)重识别分支对ROI特征进行处理获得显著特征， 所述显著特征以向量形式表现， 然后 通过实例层次和局部层次显著特征的优化使模型提取出有区分性的特征用于搜索目标行 人。 2.根据权利要求1所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 所述步骤2)中， ID分配具体包括以下步骤： 2‑1)训练阶段， ID分配模块用于确定检测边界框中对应行人ID， 并过滤掉低质量边界 框， 以防重识别分支中引入噪声样本进行训练， ID分配模块中ROI框为： ROI框对应的ID设置为： 其中 代表预测边框， 代表分类分数， B＝{b1,b2,...,bM}代表图像中的地面真 实行人 边界框， P＝{pb1,pb2,...,pbM}代表对应的ID， qconf和qiou是预定义的置信度和交并比IOU 阈 值； 2‑2)推理阶段， 预测框 直接用于提取人物特征并作 为检测结果保存。 3.根据权利要求2所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 所述步骤2 ‑1)中， 在早期训练阶段只有很少的预测框可以通过ID分配模块， 导致预测的边 界框往往与真实值严重不符， 降低了重识别的训练速度， 为此， 将训练数据标注的真实行人 边界框和对应ID加入到ID分配中， 以训练重识别分支。 4.根据权利要求1所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 所述步骤4)中， 重识别分支结构包括： 4‑1)训练阶段， 重识别分支包含有全局特征提取模块和局部特征提取模块， 其中， 全局 特征受到OIM损失和实例层次的三元组损失监督， 局部特征受到局部层次的OIM损失和实例权　利　要　求　书 1/2 页 2 CN 115063888 A 2层次三元组损失监 督； 4‑2)推理阶段， 重识别分支只保留全局特 征提取模块。 5.根据权利要求4所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 所述步骤4 ‑1)中， 全局特征提取模块将ROI特征展开通过线性层变换为一个向量显著特征， 用于计算行人实例层次损失； 然后 将所述一个向量显著特征经过BN层获得新的向量显著特 征， 用于计算OIM损失。 6.根据权利要求4所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 所述步骤4 ‑1)中， 局部特征提取模块的设计是为了获取具有不同语义的行人身体局部和图 像背景区域原型特征， 具体地， 首先利用局部分割将框内行人特征分割成表示不同身体局 部的区域； 然后通过特征融合将 每个局部对应的区域内的特征聚合成一个固定大小的向量 显著特征； 接下来将表示向量显著特征输入4个1 ×1的带残差连接的卷积层和1个1 ×1的普 通卷积层进行降维； 最后将降维后的多个向量显著特征拼接在一起获得显著性更优的特 征， 用于计算行 人局部层次损失和实例层次损失。 7.根据权利要求6所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 局部分割根据框内行人ROI特征图上各点处向量fi,j和局部特征原型向量rk的相似度将行 人特征分割成表示不同身体局部的区域， 所述局部特征原型向量rk为随机初始化之后在训 练阶段和整个模型一 起优化的一组可 学习的参数， 相似度计算如下： 其中σk∈(0,1)为可 学习的平 滑因子， 值越大， 代 表相似度越低。 8.根据权利要求6所述的一种基于双层显著特征的端到端行人搜索方法， 其特征在于， 特征融合将每 个局部对应区域内的相似fi,j聚合成一个固定大小的向量显著特 征， 表示为： 其中σk∈(0,1)为可学习的平滑因子， fi,j为ROI特征图上各点处向量， rk为一组可学习 参数， 代表fi,j与rk之间的相似度。权　利　要　求　书 2/2 页 3 CN 115063888 A 3