(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210234973.6 (22)申请日 2022.03.11 (65)同一申请的已公布的文献号 申请公布号 CN 114332745 A (43)申请公布日 2022.04.12 (73)专利权人 西安科技大 学 地址 710054 陕西省西安市碑林区雁塔中 路58号 (72)发明人 叶鸥　段瑞　于振华　魏新力　 付燕　邓军　 (74)专利代理 机构 西安众星蓝图知识产权代理 有限公司 61234 专利代理师 程彦彦 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06F 16/71(2019.01) G06F 16/783(2019.01) G06F 16/174(2019.01) G06F 16/16(2019.01) (56)对比文件 CN 105320773 A,2016.02.10 CN 107885764 A,2018.04.0 6 CN 110674673 A,2020.01.10 CN 105677661 A,2016.0 6.15 US 2021117232 A1,2021.04.2 2 Saehoon Kim等.Near Dupl icate Ima ge Discovery o n One Bi llion Images. 《2015 IEEE Winter Conference o n Applications of Computer Visi on》 .2015, 付燕等.针对近 重复视频的 FD- Means 聚类 清洗算法. 《计算机 工程与应用》 .2020, Shaowei Chen.A Data Fusi on-based Methodology of Co nstructi ng Health Indicators for An omaly Detecti on and Prognostics. 《2018 I nternati onal Conference o n Sensing, Diagnostics, Prognostics, and Co ntrol》 .2019, 审查员 刘娜 (54)发明名称 一种基于深度神经网络的近重复视频大数 据清洗方法 (57)摘要 本发明公开了一种基于深度神经网络的近 重复视频大数据清洗方法， 包括以下步骤： 一、 CNN‑LSTM神经网络对待处理视频的特征向量提 取； 二、 利用MapReduc e框架对提取的特征向量进 行局部敏感哈希映射并获取视频的二值化哈希 码； 三、 利用MapReduc e框架归并具有相同二值化 哈希码的数据点； 四、 根据归并后各个键值的欧 式距离的分布情况得到近重复视频并删除从而 完成近重复视频的清洗。 本发明方法步骤简单，设计合理， 可以快速有效地自动清洗视频大数据 中的近重复视频数据， 改善视频大数据的数据质 量。 权利要求书3页 说明书7页 附图1页 CN 114332745 B 2022.05.31 CN 114332745 B 1.一种基于深度神经网络的近重复视频大数据清洗方法， 其特征在于， 该方法包括以 下步骤： 步骤一、 CN N‑LSTM神经网络对待处 理视频的特 征向量提取： 采用计算机通过CNN ‑LSTM神经网络 分别对 个待处理视频进 行特征向量提取的方法均 相同， 其中对 任一个待处 理视频进行 特征向量提取， 具体过程如下： 步骤101、 采用计算机从任一个待处理视频中选取 个视频帧， 并将 个视频帧分别输 入VGG16神经网络中进行空间特征提取， 得到 个视频帧对应的空间特征向量； 其中， 为 正整数； 步骤102、 采用计算机将步骤 101中 个视频帧对应的空间特征向量输入到LSTM神经网 络中， 提取待处理视频的时空特征， 得到一组初始特征向量 ； 其中， 第 个初始 特征向量 为1024×1的向量， 为正整数， 且 ; 步骤103、 采用计算机调用PCA主成分分析模块对步骤102中的一组初始特征向量进行 降维处理， 得到降维后特征向量， 并存入HDFS中； 其中， 降维后特征向量为1024 ×1的向量， 第 个待处理视频的降维后特征向量记作第 个特征向量 ， 和 均为正整数， 且 ； 步骤二、 利用MapReduce框架对提取的特征向量进行局部敏感哈希映射并获取视频的 二值化哈希码： 步骤201、 采用计算机利用Hadoop分布式平台的MapReduce框架从HDFS中读取特征向 量； 步骤202、 采用计算机利用MapReduce框架， 在Map阶段调用利用哈希函数族 对第 个特征向量进行哈希映射， 得到第 个特征向量对应的 位二值化哈希码， 并记作第 个待 处理视频的二 值化哈希码向量 ； 其中， 为正整数； 步骤203、 多次重复步骤202， 得到 个待处理视频的二值化哈希码集合 ， 且 ； 步骤三、 利用MapReduce框架归并具有相同二 值化哈希码的数据点： 步骤301、 采用计算机利用MapReduce框架， 在Map阶段将 个待处理视频的二值化哈希 码集合中二值化哈希码向量赋值给关键字 ， 将特征向量赋值给关键字值 ， 则输出 各个键值对 ； 步骤302、 采用计算机利用MapReduce框架， 在Map阶段， 对各个键值对 进 行分区、 合并， 并将每 个数据分区输出合并后键值对作为Reduce阶段的输入键值对； 步骤303、 采用计算机利用MapReduce框架， 在Reduce阶段， 将每个数据分区输出合并后 键值对， 根据关键字 排序， 并将相同的关键字 对应的关键字值 归并， 得到归 并后各个键值对并存 入HDFS中； 步骤四、 根据归并后各个键值的欧式距离的分布情况得到近重复视频并删除， 从而完权　利　要　求　书 1/3 页 2 CN 114332745 B 2成近重复视频的清洗： 步骤401、 采用计算机从HDFS中读取归并后各个键值， 并将归并后 每个键值的关键字值 分别记作一个特 征向量集合； 步骤402、 采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复视频， 并将该近 重复视频从待处 理视频中删除， 完成近 重复视频的清洗 。 2.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法， 其特 征在于： 步骤202具体步骤如下： 步骤2021、 设定哈希函数族 由 个哈希函数， 第 个哈希函数记作 , 为正整 数且 ， 第 个哈希函数 ， 如下： ； 其中， 表示哈希映射投影中实轴量化宽度， 为[0, ]范围内的随机数， 为1024维 向量， 且每一维是一个独立选自满足p ‑Stable分布的随机 变量， 表示内积运算， 表 示向下取整操作； 步骤2022、 采用计算机利用MapReduce框架， 在Map阶段利用LSH算法哈希函数族 对 第 个特征向量进行哈希映射， 得到第 个特征向量对应的 位哈希码 ； 其中， 表示第 个特征向量对应的第 个哈希码， 为正整数且 ； 步骤2023、 采用计算机利用MapReduce框架根据 ， 得到第 个特征向 量对应的第 个二值化哈希码 ； 其中， 表示第 个特征向量对应的 位哈希码 的中位数。 3.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法， 其特 征在于： 步骤302 中采用计算机用MapReduce框架， 在Map阶段， 对各个键值对 进行分区、 合并， 并将 每个数据分区输出合并后键值对作为Reduce阶段的输入键值对， 具体 过程如下： 步骤3021、 采用计算机将各个键值对 ， 利用数据分区算法根据关键字 将关键字值对分为多个数据分区； 步骤3022、 采用计算机在每个数据分区分别根据关键字 排序， 并将相同的关键字 对应的关键字值 合并， 则每个数据分区输出合并后键值对， 并将每个数据分区输 出合并后键值对作为Reduce阶段的输入键值对。 4.按照权利要求1所述的一种基于深度神经网络的近重复视频大数据清洗方法， 其特 征在于： 步骤402中采用计算机对各个特征向量集合根据欧式距离的分布情况得到近重复权　利　要　求　书 2/3 页 3 CN 114332745 B 3