(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221023769 2.6 (22)申请日 2022.03.10 (71)申请人 山东大学 地址 250061 山东省济南市历下区经十路 17923号 (72)发明人 马昕　于江磊　李贻斌　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 杨琪 (51)Int.Cl. G06V 10/25(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06K 9/62(2022.01) (54)发明名称 基于前景区域对应模板特征的视觉跟踪方 法及系统 (57)摘要 本发明提供了一种基于前景区域对应模板 特征的视觉跟踪方法及系统， 包括： 获取图像的 模板特征和搜索特征； 对获取的图像的模板特征 和搜索特征进行特征增强； 从特征增强后的模板 特征序列中提取与前景区域对应的模板特征； 将 与前景区域对应的模板特征与增强后的搜索特 征进行融合， 得到融合特征； 预测融合特征的分 类和包围框回归 结果； 利用与前景区域对应的模 板特征增强搜索特征， 减少了模板块中背景信息 的干扰， 实现了目标从背景中准确分离出来的效 果。 权利要求书2页 说明书10页 附图3页 CN 114596432 A 2022.06.07 CN 114596432 A 1.基于前 景区域对应模板特 征的视觉跟踪方法， 其特 征在于， 包括： 获取图像的模板特 征和搜索特 征； 对获取的图像的模板特 征和搜索特 征进行特征增强； 从特征增强后的模板特 征序列中提取与前 景区域对应的模板特 征； 将与前景区域对应的模板特 征与增强后的搜索特 征进行融合， 得到融合特 征； 预测融合特征的分类和包围框回归结果， 根据回归结果得到图像上待跟踪目标的预测 包围框。 2.如权利要求1所述的基于前景区域对应模板特征的视觉跟踪方法， 其特征在于， 两个 特征序列通过自注意力模块进行增强； 增强机制为： 其中， Pz和Px是空间位置编码， fz* EN和fx* EN分别是模板特征和搜索特征被语义增强过的 特征序列， fz*和fx*是增强前的特 征序列。 3.如权利要求2所述的基于前景区域对应模板特征的视觉跟踪方法， 其特征在于， 从特 征增强后的模板特征序列中提取与前景区域对应的模板特征时， 计算模板特征掩码， 将补 充参数设置为计算模板特 征掩码。 4.如权利要求3所述的基于前景区域对应模板特征的视觉跟踪方法， 其特征在于， 将模 板特征作为自注意力模块的键和值， 将搜索特 征作为自注意力模块的查询。 5.如权利要求3所述的基于前景区域对应模板特征的视觉跟踪方法， 其特征在于， 在特 征融合层中加入F FN模块。 6.基于前 景区域对应模板特 征的视觉跟踪器， 其特 征在于， 包括： 骨干网络， 用于： 获取图像的模板特 征和搜索特 征 特征融合网络， 用于： 对获取的图像的模板特征和搜索特征进行特征增强； 从特征增强 后的模板特征序列中提取与前景区域对应的模板特征； 将与前景区域对应的模板特征与增 强后的搜索特 征进行融合， 得到融合特 征； 预测头部网络， 用于： 预测融合特 征的分类和包围框回归结果。 7.如权利要求6所述的基于前景区域对应模板特征的视觉跟踪器， 其特征在于， 所述视 觉跟踪器为Transformer视 觉跟踪器。 8.基于前 景区域对应模板特 征的视觉跟踪方法， 其特 征在于， 包括： 数据采集模块， 用于： 获取图像的模板特 征和搜索特 征； 增强模块， 用于： 对获取的图像的模板特 征和搜索特 征进行特征增强； 提取模块， 用于： 从特 征增强后的模板特 征序列中提取与前 景区域对应的模板特 征； 融合模块， 用于： 将与前景区域对应的模板特征与增强后的搜索特征进行融合， 得到 融 合特征； 预测模块， 用于： 预测融合特征的分类和包围框回归结果， 根据回归结果得到图像上待 跟踪目标的预测包围框 。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现了如权利要求 1‑5任一项所述的基于前景区域对应模板特征的视觉跟踪 方法的步权　利　要　求　书 1/2 页 2 CN 114596432 A 2骤。 10.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现了如权利要求 1‑5任一项所述的基于 前景区域对应模板特 征的视觉跟踪方法的步骤。权　利　要　求　书 2/2 页 3 CN 114596432 A 3