(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108906.6 (22)申请日 2022.09.13 (71)申请人 无锡东如科技有限公司 地址 214029 江苏省无锡市经济开发区高 浪东路999-8-D2-201-2 28 (72)发明人 曹东　 (74)专利代理 机构 苏州国诚专利代理有限公司 32293 专利代理师 陈君名 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/26(2022.01)G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种单样本学习的视频目标跟踪方法 (57)摘要 本发明公开了一种单样本学习的视频目标 跟踪方法， 视频图像目标物体语义分割数据集构 造与图像语义分割模型界定， 构造图像帧序列感 知特征提取模块， 单样本学习信息抽取模块 的构造， 分割跟 踪模块 的构造， 对 后续帧图像分割推理， 该模块将分割跟踪 模块 输出的最优分割编码作为输入， 分割解码 器 的最终输出为多通道目标语义分割结 果。 本发明所述的一种单样本学习的视频目标跟 踪方法， 结合预训练的矢量化表示， 在推理过程 中设计了 特定于目标物体的模型参数学习， 更好 地泛化了目标物 体外观信息， 实现了现有最优的 动态目标跟踪， 从而实现智能机器人最优自主动 作规划。 权利要求书3页 说明书15页 附图1页 CN 115393400 A 2022.11.25 CN 115393400 A 1.一种单样本学习的视频目标跟踪方法， 其特 征在于： 包括以下操作步骤： S1： 模型构造： 视频图像目标物体 语义分割数据集构造与图像 语义分割模型界定； S2： 模块构造： 构造图像帧序列感知特 征提取模块； S3： 样本模块构造： 单样本学习信息抽取模块 的构造； S4： 跟踪模块构造： 分割跟踪模块 的构造； S5： 图像分割推理： 基于首帧图像的单样本学习信息抽取模块 和分割跟踪模 块 对后续帧图像的分割推理； S6： 输出结果： 多通道目标分割单元 的构造， 该模块将分割跟踪模块 输出的 最优分割编码作为输入， 分割解码器 的最终输出为多通道目标语义分割结果。 2.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S1步 骤中具体包括以下操作步骤： A1： 构造半监 督图像分割数据集； A2： 在视频目标跟踪时间序列的图像分割数据集中， 目标物体仅由第一帧中给出的参 考目标前景与背 景分割标注的标签定义， 针对一个特定视频序列往往是仅仅给出其第一帧 图像的语义分割标注标签， 然后需要在每 个后续帧中进行分割目标的推断工作； A3： 基于上述数据集特征， 我们界定视频目标分割框架为 其中 表示可学习的参数， 在模型训练过程中通过 学习获得； A4： 视频目标跟踪采用视频图像分割方法实现为端到端网络 。 3.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S2步 骤中具体包括以下操作步骤： B1： 图像帧序列感知特征提取模块包括像素关联信息汇聚单元 像素分类器 与注意力机制单 元 B2： 构造像素分类器 像素分类器 的输入是单样本真实值标注标签Yseg1， 通过对输入目标真实值标注标签Yseg1进行编码来预测单样本学习信息抽取模块的其他输 入图像分割真实值标签； B3： 通过在视频序列中采用推理的方法， 达到自动标注下一帧新图像标签的目的， 以实 现包含额外帧的特 征分割标签标注对(xt,Ysegt)， 从而扩展了小样本学习数据集。 4.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S3步 骤中具体包括以下操作步骤： C1： 通过应用最速下降迭代求 解， 以期在精度和效率两方面取 得折中； C2： 所有计算采用标准神经网络操作实现， 从给定的初始化 开始执行N次最速下降迭 代， 因为最速下降的收敛是快速高效的， 所以训练和推理期间设置迭代 次数N＝5就可达到 预期收敛效果；权　利　要　求　书 1/3 页 2 CN 115393400 A 2C3： 在此新优化迭代次数设定N＝2即可达到非常理想的更新效果， 且计算量降到最低 而能实现实时处 理； C4： 构建了单样本学习信息抽取模块 就可以应用于随后按时序输入的测试帧 序列上， 结合上一步骤的实时 值更新， 应用到下游处理环节作为预测的分割跟踪模块 用于获得视频跟踪目标的分割编码， 最后作为输入提供 给分割解码器。 5.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S4步 骤中具体包括以下操作步骤： D1： 该分割跟踪模块深度特征图上可以进行实时轻量级运算， 可预测目标分割的丰富 编码信息； D2： 分割跟踪模块中 的模型参数是使用单样本学习信息抽取模块 通过对分割 跟踪模块 的输出和生成的真实值标注标签 之间的平方误差进行最 小化计算获得的， 由注意力机制单 元 提供的每 像素重要性权 重 加权； D3： 分割跟踪模块 实现为内核大小为K＝5的卷积滤波器， 中间的第一层隐藏层采 用空洞卷积， 扩张率Dr＝2， 可以在最简计算 量条件下抽取 更广范围像素互信息 。 6.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S5步 骤中具体包括以下操作步骤： E1： 基于视频序列的首帧图像， 分割跟踪模块参数 是针对初 始输入图像Ima1结合给定 真实值标注标签Yseg1通过计算获得的； E2： 视频序列的图像标注 “(x1,Yseg1)对”构成用于学习分割给定目标的训练样本； E3： 基于上个步骤通过直接最小化第一帧中的分割误差来预测分割跟踪模块参数， 可 以确保对即将到来的帧进行 稳健的分割预测； E4： 使用第一帧真实值标注Yseg1(即对应 中的 其中 )作为我们的单样本学习信息抽取模块中的标签； E5： 通过对真实值标注标签Yseg1进行编码生成 的多维标签， 从而允许 分割跟踪模块 在测试帧中预测更丰富的目标分割表示； E6： 达到引导单样本学习信息抽取模块最优化学习与最速收敛， 实现分割跟踪模块的 实时最优分割编码输出。 7.根据权利要求1所述的一种单样本学习的视频目标跟踪方法， 其特征在于： 所述S6步 骤中具体包括以下操作步骤： F1： 多通道目标分割单元 的输入包括三支信息流： 其一是分割跟踪 模块的实时最 优分割编码输出； 其二是单样本学习信息抽取模块 的输出 其三是图像帧序列 感知特征提取模块的输出；权　利　要　求　书 2/3 页 3 CN 115393400 A 3