(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671911.1 (22)申请日 2022.06.14 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号哈尔滨工程大学科技处 知识产权办公室 (72)发明人 孟浩　凌越　田洋　袁宁泽　高放　 (51)Int.Cl. G06V 10/774(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06F 17/16(2006.01) (54)发明名称 一种用于复杂背景 船舶的多目标识别方法 (57)摘要 本发明属于深度学习及目标识别技术领域， 具体涉及一种用于复杂背景船舶 的多目标识别 方法。 本发明利用环形注意力引导的CNN输出高 级特征， 以增加对复杂背景图像上目标所在区域 的空间信息的获取， 特别是具有不同尺度大小的 复杂空间位置的船舶目标； 通过低级特征通过层 间相关反卷积对目标区域中局部特征的关键像 素值进行加权， 得到复杂背景下详细特征分布的 图像； 通过循环注意力引导低 层特征和高层特征 进行联合学习， 增强了高层目标区域表达局部细 节特征的能力。 本发明能够在真实海况、 复杂多 场景海况、 目标类别样本量不均衡的情况下实现 船舶多目标识别， 在船舶工业与海事 管理等领域 有较好的使用前 景。 权利要求书3页 说明书7页 附图4页 CN 115019132 A 2022.09.06 CN 115019132 A 1.一种用于复杂背景 船舶的多目标识别方法， 其特 征在于， 包括以下步骤： 步骤1： 获取待识别的具有复杂背景的船舶图像数据集， 将其输入至添加有循环注意力 模块的特 征提取网络中进行 特征提取； 步骤2： 采用联合的高层次反卷积特征模型， 融合层内自相关特征信 息和层间互相关特 征信息； 将具有复杂背景的船舶图像输入至添加有循环注意力模块的特征提取网络后， 特征提 取网络的上采样 输出为M， 下采样 输出为H， H,M∈RW×H×C， W,H,C分别代表特征图的宽度、 高度 和通道数； HHT表示用于增强各目标区域空间信息的层内 自相关， HHTMT表示给局部特征的关 键像素值加权， 计算它 们的总和来构造多层次特 征关联： 其中， 表示层内特 征自相关和层间特 征互相关捕获的局部细节特 征的关键像素权 重； 将关键细节特征的像素信息 与上采样的输出M相乘得到 使得关键细节特征信息 叠 加在上采样的低层次输出M中： 其中， 表示包含目标区域精细局部特 征的低级特 征； 步骤3： 搭建并训练次层次特 征和高层次特 征联合学习模型； 步骤3.1： 将反卷积后的低层次特征输出X作为 次层次特征和高层次特征联合学习模型 的输入， X∈RW×H×C； 步骤3.2： 将X的张量重塑为特 征矩阵， 该 特征矩阵由n ＝W*H,C组成； 样本协方差矩阵计算 为： 其中， I和1分别为n ×n单位矩阵和全1矩阵； ∑是一个具有唯一平方根的对称正半定协 方差矩阵， ∑＝Udia g( λi)UT， U是正交矩阵， dia g( λi)是对角矩阵， λi为特征值； 步骤3.3： 计算∑的矩阵平方根Y， 给定 输入Y0＝∑， Z0＝I， 耦合迭代过程如下： 其中， k＝1, …K， 代表计算出矩阵唯一平方根的迭代次数， Yk和Zk分别逐渐向Y和Y‑1收 敛； 步骤3.4： 通过迹或者Frobenius范数， 在后补偿中乘以协方差矩阵的平方根的迹或者 使用Froben ius范数来抵消预归一 化后数据幅度变化大造成的不利影响， 具体 计算如下： 权　利　要　求　书 1/3 页 2 CN 115019132 A 2其中， λi是∑的特征值； YN是关联的高层次反卷积特征至低层次256通道输出 的特征 图； 步骤3.5： 多层次特征关联输出 经过协方差池化和后补偿后输出 然 后经过两个1 ×1卷积层， 输出特征为k,k∈R59×1×1； 将k反向更新到ResNet50的高层次特征P 中， P∈R59×8×8， 整个过程计算如下： V＝Pdiag(k)+P 其中， dia g(k)是维度为8 ×8， 对角线值 为k的矩阵； 步骤3.6： 采用复合损失函数， 包含二元交叉熵损失函数和多标签分类损失函数， 其中 二元交叉熵损失函数用于测量模型的最 终预测图像和对应的真实图像， 多标签分类损失函 数用测量从上采样中恢复的图像和相应的下采样真实图像； 对于给定一个训练的数据集 Ii代表第i张图像， 代表第i张 图片上相应的真实标签， 复合损失函数为二元 交叉熵损失函数和多标签分类损失函数的加 权和： 其中 和 分别代表二元交叉熵损失函数和多标签分类损失函数， α 是平衡这两项损失函数的权 重参数， 和 的计算公式为： 其中， 代表第i个图像中的第j个类别预测的分数； 代表上采样恢复的第i个图像 中第j个类别的分数； 步骤4： 将待识别的具有复杂背景的船舶图像经过步骤1、 步骤2提取得到的反卷积后的 低层次特征输入至训练好的次层次特征和高层次特征联合学习模型中， 完成复杂背景船舶 的多目标识别。 2.根据权利要求1所述的一种用于复杂背景船舶的多目标识别方法， 其特征在于： 所述 步骤1中添加有循环注意力模块的特征提取网络ResNet50有 四个阶段， 每个阶段都有一个 特征提取模块包含一系列卷积层、 ReLu和 批标准化， 特征提取从一个7 ×7卷积层和一个最 大池化层将输入的具有复杂背景的船舶图像转换为256个特征图， 然后从这些特征图按照 ResNet50的四个阶段来获取不同层次的特 征； 所述循环注意力模块通过三个卷积核为1 ×1的滤波器生成三个特征图Q、 K、 W， 将Q和K 进行矩阵相乘的混合运算生成特征的注意力图E， E经过softmax生成一个特征向量R； 将特 征向量R与特征图W相乘后进 行混合运算， 生 成特征的注 意力图T； 在获得的注 意力图T上， 与 特征图W进行矩阵相乘的混合运算， 循环更新特征图W上 的关键特征像素值， 生成特征注意 力图O， 最后将生成的特征注意力图O叠加到给定输入特征图X上， 得到相比于给定输入X包 含更多的关键特 征像素信息特 征注意力图S； 所述循环注意力 模块引导特征提取网络ResNet50的四个阶段进行学习， 特征提取网络 ResNet50的每个阶段的输出特征图作为循环注意力模块的给定输入特征图X， 在给定输入权　利　要　求　书 2/3 页 3 CN 115019132 A 3