(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210230686.8 (22)申请日 2022.03.10 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 产思贤　崔嘉敖　李伟帅　杜锋　 陶健　赖周年　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 忻明年 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/52(2022.01) G06V 10/42(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06F 16/583(2019.01) (54)发明名称 一种基于卷积神经网络的跨模态行人重识 别方法 (57)摘要 本发明公开了一种基于神经网络的跨模态 行人重识别方法， 获取带有身份标注的跨模态训 练数据集， 所述训练数据集中每个训练样本包括 一个身份对应的红外线模态 图像和日光模态 图 像， 将训练样本输入到基于Resnet ‑50构建的网 络模型中， 通过分支网络获得多尺度的图像特 征， 并在其上计算模态间的特征对应关系， 充分 挖掘不同尺度的模态共有特征。 构建联合损失函 数筛选模态共有特征中具有身份区别性的特征。 本发明将全局和局部特征联合作为行人的表征， 在跨模态行 人重识别任务取得了良好的效果。 权利要求书2页 说明书9页 附图1页 CN 114627500 A 2022.06.14 CN 114627500 A 1.一种基于卷积神经网络的跨模态行人重识别方法， 其特征在于， 所述基于卷积神经 网络的跨模态行 人重识别方法， 包括： 获取带有身份标注的跨模态训练数据集， 所述训练数据集中每个训练样本包括一个身 份对应的红外线模态图像和日光模态图像； 将训练样本输入到基于Resnet ‑50构建的网络模型中， 将所述Resnet ‑50第三个残差层 中第一个残差快输出的特征图记为F3， 所述特征图F3送入3个分支分别进行处理， 得到特征 图fg、 fl1、 fl2、 fl3、 fl4、 fl5， 包括： 第一分支包括Resnet ‑50第三个残差层剩余的残差块和第四个残差层， 提取出全局特 征图fg； 第二分支包括Resnet ‑50第三个残差层剩余的残差块和第四个残差层， 通过垂直均匀 切片得到局部特 征图fl1、 fl2； 第三分支包括Resnet ‑50第三个残差层剩余的残差块和第四个残差层， 通过垂直均匀 切片得到局部特 征图fl3、 fl4、 fl5； 分别计算红外线模态和日光模态特 征图F3、 fl1、 fl2、 fl3、 fl4、 fl5之间的特 征对应关系； 对红外线模态和日光模态特征图F3、 fl1、 fl2、 fl3、 fl4、 fl5进行特征重建， 得到重建特征图 构建联合损失函数， 根据 红外线模态和日光模态特征图fg、 F3、 fl1、 fl2、 fl3、 fl4、 fl5以及 重建特征图 计算联合损失， 进行反向传播， 更新网络模型 的网络参数； 采用训练好的网络模型提取查询图像的特征， 与数据库中图像的特征进行比对， 识别 出查询图像中行 人的身份。 2.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法， 其特征在于， 所 述第一分支的第四个残差层带有下采样。 3.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法， 其特征在于， 所 述计算红外线模态和日光模态特征图F3、 fl1、 fl2、 fl3、 fl4、 fl5之间的特征对应关系， 计 算公式 如下： C(i， j)＝fRGB(i)T·fIR(j) 其中， fRGB(i)和fIR(j)分别表示日光模态特征图和红外线模态特征图位置特征向量， i 表示日光模态特征图i位置， j表示红外线模态特征图j位置， C(i， j)表示位置特征对应关 系。 4.根据权利要求1所述的基于卷积神经网络的跨模态行人重识别方法， 其特征在于， 所 述对红外线模态和日光模态特征图F3、 fl1、 fl2、 fl3、 fl4、 fl5进行特征重建， 得到重建特征图， 重建公式如下： 权　利　要　求　书 1/2 页 2 CN 114627500 A 2MRGB(i)＝|fRGB(i)| MIR(j)＝|fIR(j)| 其中， fRGB(i)和fIR(j)分别表示日光模态特征图和红外线模态特征图位置特征向量， i 表示日光模态特征图i位置， j表示红外线模态特征图j位置， MRGB表示日光模态特征图上所 有位置的响应强度， MIN表示 取最小值， MAX表示 取最大值， MIR表示红外线模态特征图上所有 位置的响应强度， MRGB(i)表示日光模态特征图上i位置的响应强度， MIR(j)表示红外线模态 特征图上j位置的响应强度， 表示重建后的日光模态特征图i位置特征向量， 表示重建后的红外线模态特 征图j位置特 征向量。 5.如权利要求1所述的基于卷积神经网络的跨模态行人重识别方法， 其特征在于， 所述 联合损失函数公式如下： 其中， 表示身份损失函数， 表示三元组损失函数， 所述身份损失函数 和三元 组损失函数 分别对全局特征计算损失， 所述全局特征通过对全局特征图fg进行GeM池 化和全连接降维操作得到； 所述 表示SmoothAP损失函数， 所述SmoothAP损失函数 分别对局部特征和 局部 重建特征计算损失， 所述局部特征通过对局部特征图fl1、 fl2、 fl3、 fl4、 fl5进行GeM池化和全 连接降维操作得到， 所述局部重建特征通过对局部重建特征 进行 GeM池化和全连接降维操作得到； 所述 表示密集三元组损失函数， 所述密集三元组损失函数 分别对重建特征图 计算损失。权　利　要　求　书 2/2 页 3 CN 114627500 A 3