(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210246448.6 (22)申请日 2022.03.14 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路２ 号 (72)发明人 葛宏伟　黄嘉健　孙亮　王霞　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 隋秀文 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于交互级联轻量化transformers的 域自适应行 人重识别方法 (57)摘要 本发明公开了一种基于交互级联轻量化 transformers的域自适应 行人重识别方法， 属于 计算机视觉与行人识别的交叉技术领域。 该方法 所设计的轻量化transformer包括局部轻量化 transformer和全局轻量化transformer， 它们由 嵌入模块、 多头自注意力模块和多头混合模块组 成。 轻量化transformer可以捕捉长距离依赖， 避 免噪声标签的影 响加剧。 在该方法所设计的交互 级联框架中， 像素点被交替赋予局部信息和全局 信息， 这增强了局部信息建模和全局信息建模的 交互能力， 进而提高了模型的特征表达能力。 本 方法实现了有效的域自适应行 人重识别。 权利要求书4页 说明书10页 附图3页 CN 114596589 A 2022.06.07 CN 114596589 A 1.一种基于交互级联轻量化transformers的域自适应行人重识别方法， 其特征在于， 步骤如下： (1)使用CN N编码器从行 人图像提取紧凑的特 征 所述CNN编码器由若干卷积神经网络层构成， 它输出维数是 的特 征图， 其中height为行人图像的高度， width为行人图像的宽度； 该特征图将作为交互级联 轻量化transformers的输入； (2)使用交 互级联轻量化transformers提取 具有辨识性的行 人特征 所述交互级联轻量化transformers由3个基本单元构成， 每个基本单元由1层局部轻量 化transformer和2层全局轻量化transformers级联构 成； 局部轻量化transformer和全局 轻量化transformer的组成模块相同， 但执行的过程不同； 它们均由嵌入模块、 多头自注意 力模块和多头混合模块组成； 交互级联轻量化transformers执行的过程由1层局部轻量化transformer执行的子过 程和2层全局轻量 化transformers执 行的子过程构成； 交互级联轻量化transformers执 行如下过程： (2.1)1层局部轻量 化transformer执 行如下子过程： (2.1.1)将特 征图切割为 查询块： 式中， F为输入局部轻量化transformers的特征图； fi表示查询块， 下标i为查询块的序 号； Nq表示查询块的数量； divide()表示将特征图切割 为查询块的操作； Nq＝a×b， a和b分 别表示在将特征图F切割为查询块的过程中， 将F横向切割的次数和将F纵向切割的次数； 查 询块fi的维数为 (2.1 .2)使用嵌入模块来压缩查询块fi的通道数， 得到查询块ei； ei的维数是 其中d＜1024； 嵌入 模块是1层卷积神经网络； (2.1.3)将查询块ei展开成由多个一维向量构成的二维矩阵si： si＝unfold(ei)  (2) 式中， unfold()表示将查询块展开成二维矩阵的操作， 该展开操作只是将查询块的最 后两维 展开成了一维 表示查询 块ei被展开成的二维矩阵， 它的维数是d ×N， 其中 si的下标i为它对应 的查询块的序号； 表示si中的第j个一维向量， 的维数为d； (2.1.4)基于si利用多头自注意力模块进行信息建模， 过程如下： 由3个映射模块 WQ、 WK和WV得到查询矩阵qi、 键矩阵ki和值矩阵vi： qi＝WQsi； ki＝WKsi； vi＝WVsi  (3) 式中， WQ， WK和WV为3个全连接层， 它们的神经元个数均为d ×d； qi， ki和vi均为维数是d ×权　利　要　求　书 1/4 页 2 CN 114596589 A 2N的二维矩阵， 下 标i为对应的查询块的序号； 将qi， ki和vi分别划分为H组查询矩阵、 键矩阵和值矩阵， 其中H为多头自注意力机制中 的头数； 将 每组内的键矩阵的转置与查询矩阵进 行叉乘， 得到查询块内各像素点的H组相似 度值； 对每组相似度值进行归一化处理得到H组权重； 将H组值矩阵分别与对应组的权重进 行叉乘， 该操作的含义是将值矩阵中的各一维向量按对应像素点间的相似度进行聚合， 该 操作产生H 组聚合结果 其中， 为维数是 的二维矩阵， 下 标i为对应的查询块的序号， 上 标m＝1， 2， . ..， H为其对应的组号； (2.1.5)将H组二维矩阵 重新合并成1个二维矩阵， 将合并后的二维矩阵折叠为1个 查询块ui， 它的维数为 下标i为查询块的序号； 该折叠操作只是将矩 阵 的最后一维折叠为 二维； (2 .1 .6)将ui送入多头混合模块以混合不同头的注意力结果， 得到维数是 的查询块ri， 下标i为查询块的序号； 多头混合模块是1层转置卷积 神经网络； (2.1.7)将Nq个查询块ri合并为1个特 征图r， r的维数 是 (2.1.8)将特 征图r与输入的特 征图F混合： Flocal＝F+r  (4) 式中， Flocal的维数是 上标local用于表明它是局部轻量化 transformer的输出， 它将作为 步骤(2.2)的输入； (2.2)2层全局轻量 化transformers执 行如下子过程： (2.2.1)利用嵌入模块来压缩输入特征图的通道数， 得到维数是 的特 征图E， 其中d＜1024； (2.2.2)将特 征图E展开成二维矩阵： S＝UNFOLD(E)   (5) 式中， UNFOLD(  )表示将特征图展开为二维矩阵的操作， 该展开操作只是将特征图的最 后两维 展开成了一维 表示特征 图E被展成的二维矩阵， 它由 个一维向量组成， 它的维数 是d×NS； (2.2.3)以S作为输入， 先用多头自注意力模块进行信息建模， 然后将其输出重新排列 为1个三维的特征图， 最后利用多头混合模块混合不同头的注意力结果， 其过程与步骤 (2.1.4)至步骤(2.1.6)相同； (2.2.4)以(2.2.3)的结果作为输入， 将步骤(2.2.1)至步骤(2.2.3)迭代1次； (2.3)以(2.2.4)的结果作为输入， 循环执行步骤(2.1)～(2.2)2次； 最终得到维数是权　利　要　求　书 2/4 页 3 CN 114596589 A 3