(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210253811.7 (22)申请日 2022.03.15 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市海港区河北 大街438号 (72)发明人 李鑫滨　陈海洋　于海峰　 (74)专利代理 机构 石家庄众志华清知识产权事 务所(特殊普通 合伙) 13123 专利代理师 田秀芬 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度多尺度特征因子融合的水下 目标检测方法 (57)摘要 本发明公开了一种基于深度多尺度特征因 子融合的水下目标检测方法， 属于水下目标检测 技术领域， 包括采集水下目标检测图像， 对水下 原始图像进行预处理， 裁剪成适合网络输入的 图 像； 对水下图像进行数据增强处理并进行标注， 扩大算法训练的数据集； 构建具有多尺度特征融 合、 软阈值注意力机制的检测模型， 将标注好的 图像数据集送进改进Faster  RCNN网络模型进行 训练； 对训练好的水下目标检测模 型进行性能评 估。 本发明提高了算法水下目标特征提取能力， 提高了水下目标检测的平均精度， 可用于获取水 下图像里海产品及其 位置。 权利要求书3页 说明书7页 附图1页 CN 114998603 A 2022.09.02 CN 114998603 A 1.一种基于深度多尺度特征因子融合的水下目标检测方法， 其特征在于： 包括以下步 骤： 步骤1， 获取 水下数据集中的训练集与测试集； 步骤2， 构建多尺度和差异特 征融合的Faster  RCNN检测模型； 步骤3， 将软阈值化嵌入注意力机制中， 以进行冗余信息的消除； 根据 各个样本的情况， 自适应地给 各个样本设置不同的阈值； 步骤4， 优化多尺度特征因子融合的Faster  RCNN软阈值注意力检测模型中候选锚框， 将NMS算法替换为Soft ‑NMS； 步骤5， 设定多尺度特征因子融合的Faster  RCNN软阈值注意力检测模型中目标分类与 目标位置回归 任务的整体损失函数L； 步骤6， 训练构建的多尺度特 征因子融合的Faster  RCNN软阈值注意力检测模型； 步骤7， 将测试样本输入到包含权重参数的多尺度特征因子融合的Faster  RCNN软阈值 注意力检测模型中， 预测输出测试样本中目标边界框位置， 目标类别及目标的置信度分数。 2.根据权利要求1所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 步骤1中， 具体包括以下步骤： 1.1采集水下的目标检测图像， 对水下原始图像数据进行预处理， 预处理包括图像裁 剪、 数据增强； 1.2标注数据集， 对增 强处理后的图像数据进行人工标注， 再划分数据集； 将水下图像 数据集中的90％作为训练样本， 剩余的10％作为测试样本 。 3.根据权利要求1所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 步骤2中， 具体包括以下步骤： 2.1从Faster  RCNN检测模型的骨干网络ResNet ‑50中获得3个卷积特 征图C3,C4， C5； 2.2从Faster  RCNN检测模型的特 征金字塔网络中获得 特征图C5上采样得到D6； 2.3构建一个由4个特 征图组成的多尺度特 征模块； 2.4根据数据集中正样本的数量， 计算得到目标在[0,32],[32,96][96,256],[256,∞] 像素中的特 征因子； 2.5将3个卷积特征图C3， C4， C5和第四个金字塔特征 图D6作为多尺度特征增强模块的 输入， 结合特 征因子， 得到 3个融合多尺度增强后的金字塔特 征图D3， D4， D5； 2.6构建一个由4个特 征图组成的上 下文特征模块。 4.根据权利要求3所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 2.3中， 是将3个卷积特征图C3， C4， C5和第四个金字塔特征图D6作为多尺度特征 增强模块的输入， 得到4个融合多尺度增强后的金字塔特征图D3， D4， D5， D6； 具体的实现方 法如下： 2.3.1将第一个卷积特征 图C3作为低级特征 图， 经过步长为1通道数为256 的1×1卷积 层输出得到第一个中级特 征图D3； 2.3.2将第一个卷积特征 图C4作为低级特征 图， 经过步长为1通道数为256 的1×1卷积 层输出得到第二个中级特 征图D4； 2.3.3将第一个卷积特征 图C5作为低级特征 图， 经过步长为1通道数为256 的1×1卷积 层输出得到第三个中级特 征图D5；权　利　要　求　书 1/3 页 2 CN 114998603 A 22.3.4将多尺度变换后的第三个中级特征图D5， 经过步长为2的3 ×3上采样层， 得到多 尺度金字塔特 征图D6。 5.根据权利要求3所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 2.6中具体的是将 3个融合多尺度的金字塔特征图D 3， D4， D5作为上下文特征增强 模块的输入， 得到3个融合多尺度上下文特征增强后的金字塔特征图P3， P4， P5， P6， 其实现 方法如下： 2.6.1将融合多尺度的第一个金字塔特征图D5与P6上采样得到的特征图M5， 作为上下 文特征增强模块的特征图的输入， 得到差异融合上下文特征增强后的第一个金字塔特征图 P5； 2.6.2将融合多尺度的第一个金字塔特征图D4与P5上采样得到的特征图M4， 作为上下 文特征增强模块的特征图的输入， 得到差异融合上下文特征增强后的第二个金字塔特征图 P4； 2.6.3将融合多尺度的第一个金字塔特征图D3与P4上采样得到的特征图M3， 作为上下 文特征增强模块的特征图的输入， 得到差异融合上下文特征增强后的第二个金字塔特征图 P3。 6.根据权利要求1所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 步骤3中， 具体包括以下步骤： 3.1将现有Focal  Loss函数设定为多尺度特征因子融合 的Faster  RCNN软阈值注意力 检测模型中目标分类任务的损失函数Lcls， 其表示如下： Lcls＝FL(pi)， 式中， FL(pi)＝‑α(1‑pi)γ×log(pi)表示焦点损失函数， α表示正负样本的平衡参数， γ表示专 注参数， pi表示第i个锚框为预测目标的概 率； 3.2将现有Smooth  L1 Loss函数设定为多尺度特征因子融合的Faster  RCNN软阈值注 意力检测模型中目标位置回归 任务的损失函数Lreg， 其表示如下： Lreg＝SmoothL1(x)， 式中， SmoothL1(x)表示平滑L1平方损失函数， 表示第i个锚框相对于预测目标边框 的 偏移量ti与第i个锚框相对于真实目标边框的偏移量的差值。 7.根据权利要求1所述的一种基于深度多尺度特征因子融合的水下目标检测方法， 其 特征在于： 步骤5中， 具体包括以下步骤： 5.1将现有softmax  loss函数设定为多尺度特征因子融合的Faster  RCNN软阈值注意 力检测模型中目标分类任务的损失函数， 用Lcls表示； 5.2将现有Smooth  L1 Loss函数设定为多尺度特征因子融合的Faster  RCNN软阈值注 意力检测模型中目标位置回归 任务的损失函数， 用Lreg表示； 5.3由目标分类任务的损失函数Lcls和目标位置回归任务的损失函数Lreg， 设定多尺度 特征因子融合的Faster  RCNN软阈值注意力检测模型整体损失函数L 为： L＝L({ci},{ti})， 式中， Ncls表示目标分类任务中正样本锚框的总数量， ci表示第i个锚框为预测目标的概权　利　要　求　书 2/3 页 3 CN 114998603 A 3