(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210259929.0 (22)申请日 2022.03.16 (71)申请人 中国科学院深圳先进技 术研究院 地址 518055 广东省深圳市南 山区深圳大 学城学苑大道1068号 (72)发明人 陈浩彬　乔宇　焦国华　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 潘登 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06F 16/53(2019.01) (54)发明名称 一种跨模态行人重识别方法、 装置、 设备和 存储介质 (57)摘要 本发明公开了一种跨模态行人重识别方法、 装置、 设备和存储介质。 该方法包括： 获取待识别 行人图像集合， 其中， 待识别行人图像集合包括： 至少两个模态下的待识别行人图像； 对待识别行 人图像集合中的待识别行人图像进行特征提取， 得到待识别行人图像集合中的每个待识别行人 图像对应的特征信息； 根据待识别行人图像集合 中的每个待识别行人图像和待识别行人图像集 合中的每个待识别行人图像对应的特征信息构 建目标异质图； 根据目标异质图确定目标特征； 根据目标特征生成目标行人图像。 本方案可添加 至任意现有跨模态行人重识别方法后面作为后 处理， 提高现有跨模态行人重识别方法的精度， 使得夜晚的智能追踪和人员追捕更加准确， 可大 力推动智能安防建 设。 权利要求书2页 说明书12页 附图3页 CN 114708611 A 2022.07.05 CN 114708611 A 1.一种跨模态行 人重识别方法， 其特 征在于， 包括： 获取待识别行人图像集合， 其中， 所述待识别行人图像集合包括： 至少两个模态下的待 识别行人图像； 对所述待识别行人图像集合中的待识别行人图像进行特征提取， 得到待识别行人图像 集合中的每 个待识别行 人图像对应的特 征信息； 根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的 每个待识别行 人图像对应的特 征信息构建目标异质图； 根据所述目标异质图确定目标 特征； 根据所述目标 特征生成目标 行人图像。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述目标异质图确定目标特征， 包括： 根据所述目标异质图对至少两个模态下的待识别行人图像进行信 息聚合， 得到至少两 个模态聚合特 征； 对所述至少两个模态聚合特 征进行融合， 得到目标 特征。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述目标异质图对至少两个模态 下的待识别行 人图像进行信息聚合， 得到 至少两个模态聚合特 征， 包括： 对所述目标异质图中的节点进行模态划分， 得到 至少两个模态对应的节点 集合； 分别对所述至少两个模态对应的节点集合中的节点进行信 息聚合， 得到至少两个模态 聚合特征。 4.根据权利要求2所述的方法， 其特征在于， 所述对所述至少两个模态聚合特征进行融 合， 得到目标 特征， 包括： 将至少两个模态聚合特征分别映射到至少两个子空间， 得到每个子空间对应的聚合特 征； 将至少两个子空间对应的聚合特 征进行线性映射， 得到目标 特征。 5.根据权利要求1所述的方法， 其特征在于， 所述根据所述待识别行人图像集合中的每 个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建 目标异质图， 包括： 根据所述待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的 每个待识别行 人图像对应的特 征信息构建第一异质图； 对所述第一异质图进行噪声 去除， 得到目标异质图。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述第一异质图进行噪声去 除， 得 到目标异质图， 包括： 获取所述第一异质图中每 个节点的置信度； 将所述第一异质图上置信度低于 置信度阈值的节点删除， 得到目标异质图。 7.根据权利要求5所述的方法， 其特征在于， 所述根据所述待识别行人图像集合中的每 个待识别行人图像和待识别行人图像集合中的每个待识别行人图像对应的特征信息构建 第一异质图， 包括： 将待识别行人图像集合中的每个待识别行人图像和待识别行人图像集合中的每个待 识别行人图像对应的特 征信息作为节点；权　利　要　求　书 1/2 页 2 CN 114708611 A 2获取任意两个节点之间的相似度； 将节点之间的相似度大于相似度阈值的两个节点 通过边进行 连接。 8.一种跨模态行 人重识别装置， 其特 征在于， 包括： 获取模块， 用于获取待识别行人图像集合， 其中， 所述待识别行人图像集合包括： 至少 两个模态下的待识别行 人图像； 特征提取模块， 用于对所述待识别行人图像集合中的待识别行人图像进行特征提取， 得到待识别行 人图像集 合中的每 个待识别行 人图像对应的特 征信息； 构建模块， 用于根据 所述待识别行人图像集合中的每个待识别行人图像和待识别行人 图像集合中的每 个待识别行 人图像对应的特 征信息构建目标异质图； 确定模块， 用于根据所述目标异质图确定目标 特征； 生成模块， 用于根据所述目标 特征生成目标 行人图像。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 跨模态行 人重识别方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处理器执行时实现权利要求1 ‑7中任一项所述的跨模态行人重 识别方法。权　利　要　求　书 2/2 页 3 CN 114708611 A 3