(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111305967.7 (22)申请日 2021.11.05 (71)申请人 腾讯科技 （武汉） 有限公司 地址 430000 湖北省武汉市江夏经济开发 区庙山阳光五路特1号 (72)发明人 刘振华　束俊辉　 (74)专利代理 机构 北京市柳沈 律师事务所 11105 代理人 王娟 (51)Int.Cl. G06V 10/74(2022.01) G06V 20/40(2022.01) G06F 16/73(2019.01) G06N 20/00(2019.01) (54)发明名称 基于帧特征的重复视频 校验方法及装置 (57)摘要 本公开涉及一种基于帧特征的重复视频校 验方法、 装置、 设备、 计算机程序产品和计算机可 读存储介质， 可应用于云技术、 人工智能、 区块 链、 智慧交通、 辅助驾驶等各种 场景。 本公开的实 施例所提供的方法以匹配的方式对视频进行校 验， 基于视频间帧特征的特征相似度确定原视频 中的每个视频帧在待校验视频中的每个视频帧 中的至少一个最优匹配帧， 这种确定限定范围内 相对最优匹配帧的方式不依赖于绝对的特征相 似度， 从而不依赖于 限定的阈值， 弱化了图像的 绝对特征相似度在重复视频校验中的重要性， 提 高了校验方法的有效性和准确性。 此外， 所述方 法通过识别所述最优视频帧的时序特征， 大幅提 升了重复视频 校验的准确性。 权利要求书3页 说明书14页 附图8页 CN 114332501 A 2022.04.12 CN 114332501 A 1.一种基于帧特 征的重复视频 校验方法， 包括： 获取待校验的第一视频和第二视频； 以预定时间间隔对所述第 一视频和第 二视频进行抽帧， 以得到第 一视频的多个视频帧 和第二视频的多个视频帧； 对所述第一视频的多个视频帧和所述第 二视频的多个视频帧中的每个视频帧， 提取所 述视频帧的帧特 征； 基于所述第 一视频的各个视频帧的帧特征和所述第 二视频的各个视频帧的帧特征， 分 别确定所述第一视频的各个视频帧与第二视频的各个视频帧之间的特 征相似度； 基于所述第 一视频的各个视频帧与第 二视频的各个视频帧之间的特征相似度， 对于所 述第一视频中的每个视频帧， 确定所述视频帧在所述第二视频的多个视频帧中的至少一个 最优匹配帧； 以及 基于所述第 一视频中的各个视频帧所对应的最优匹配帧在所述第 二视频中的位置， 对 所述第一视频和第二视频进行重复视频 校验。 2.根据权利要求1所述的方法， 其中， 所述基于所述第 一视频中的各个视频帧所对应的 最优匹配 帧在所述第二视频中的位置， 对所述第一视频和第二视频进行重复视频校验， 包 括： 按照所述第 一视频中的多个视频帧的时序， 对所述第 一视频中的多个视频帧所对应的 最优匹配帧进行排序； 基于每个最优匹配帧在所述第 二视频帧中的位置， 确定所述排序后的最优匹配帧是否 存在线性时序关系； 若存在线性时序关系， 则将所述第一视频和第二视频判定为重复视频， 若不存在线性 时序关系， 将所述第一视频和第二视频判定为 不重复。 3.根据权利要求1所述的方法， 其中， 通过计算所述第 一视频的各个帧与第 二视频的各 个帧之间的余弦相似度， 来确定所述第一视频的各个帧与第二视频的各个帧之 间的特征相 似度。 4.根据权利要求3所述的方法， 其中， 对于所述第一视频中的每个视频帧， 确定所述视 频帧在所述第二视频的多个视频帧中的至少一个最优匹配帧， 包括： 在所述第二视频的多个视频帧中， 确定与 所述第一视频帧中的所述视频帧具有最高余 弦相似度的至少一个视频帧， 作为所述至少一个最优匹配帧。 5.根据权利要求2所述的方法， 其中， 基于所述第 一视频的各个视频帧的帧特征和所述 第二视频的各个视频帧的帧特征， 分别确定所述第一视频的各个视频帧与第二视频的各个 视频帧之间的特 征相似度， 包括： 利用所述第一视频的各个视频帧的帧特 征构造第一视频的视频 特征矩阵； 利用所述第二视频的各个视频帧的帧特 征构造第二视频的视频 特征矩阵； 以及 基于所述第 一视频的视频特征矩阵和所述第 二视频的视频特征矩阵， 通过矩阵乘法确 定所述第一视频的各个视频帧与第二视频 的各个视频帧之间的特征相似度以得到相似度 矩阵， 并基于所述相似度矩阵确定第一视频和第二视频的相似性矩阵。 6.根据权利要求5所述的方法， 其中， 在所述第一视频中的每个视频帧对应于所述相似度矩阵的一列的情况下， 其最优匹配权　利　要　求　书 1/3 页 2 CN 114332501 A 2帧对应于所述相似度矩阵的相应列中的最高相似度； 或者 在所述第一视频中的每个视频帧对应于所述相似度矩阵的一行的情况下， 其最优匹配 帧对应于所述相似度矩阵的相应行中的最高相似度， 其中， 所述基于每个最优匹配帧在所述第 二视频帧中的位置确定所述排序后的最优匹 配帧是否存在线性时序关系包括： 基于回归算法确定所述相似度矩阵中各列或各行的最高相似度是否存在线性时序关 系。 7.根据权利要求5所述的方法， 还包括： 基于所述相似度矩阵， 生成热力图矩阵， 其中不 同相似度对应于热力图中不同的颜色， 其中， 在所述第一视频中的每个视频帧对应于所述相似度矩阵的一列的情况下， 其最 优匹配帧对应于所述热力图矩阵的相应列中的最高热力色块， 或者在所述第一视频中的每 个视频帧对应于所述相似度矩阵的一行的情况下， 其最优匹配帧对应于所述热力图矩阵的 相应行中的最高热力色块， 其中， 所述基于每个最优匹配帧在所述第 二视频帧中的位置确定所述排序后的最优匹 配帧是否存在线性时序关系包括： 基于回归算法或热力图识别确定所述热力图矩阵中各列或各行的最高热力色块是否 存在线性时序关系。 8.根据权利要求1所述的方法， 其中， 所述获取待校验的第一视频和第二视频， 包括： 从初级重复视频检测结果中， 获取待校验的第一视频和第二视频， 其中， 所述初级重复视频检测结果是对海量视频数据库进行重复视频检测的初步检测 结果。 9.根据权利要求8所述的方法， 其中， 对所述第 一视频的多个视频帧和所述第 二视频的 多个视频帧中的每 个视频帧， 提取 所述视频帧的帧特 征， 包括以下任一项： 利用第一神经网络提取所述视频帧的帧特征， 其中， 在所述海量视频数据库中， 利用所 述第一神经网络提取的各个视频帧的帧特 征进行重复视频检测； 利用第二神经网络提取所述视频帧的帧特征， 所述第 二神经网络的规模小于所述第 一 神经网络的规模； 或者 从与所述海量视频 数据库相关的帧特 征池中， 提取 所述视频帧的帧特 征。 10.一种重复视频 校验装置， 包括： 获取模块， 用于获取待校验的第一视频和第二视频； 抽帧模块， 用于以预定时间间隔对所述第一视频和第二视频进行抽帧， 以得到第一视 频的多个视频帧和第二视频的多个视频帧； 提取模块， 用于对所述第 一视频的多个视频帧和所述第 二视频的多个视频帧中的每个 视频帧， 提取 所述视频帧的帧特 征； 特征相似度确定模块， 用于基于所述第 一视频的各个视频帧的帧特征和所述第 二视频 的各个视频帧的帧特征， 分别确定所述第一视频的各个视频帧与第二视频的各个视频帧之 间的特征相似度； 最优匹配帧确定模块， 用于基于所述第 一视频的各个视频帧与第 二视频的各个视频帧 之间的特征相似度， 对于所述第一视频中的每个视频帧， 确定所述视频帧在所述第二视频权　利　要　求　书 2/3 页 3 CN 114332501 A 3