(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210726449.0 (22)申请日 2022.06.24 (71)申请人 温州大学 地址 325000 浙江省温州市瓯海区东方南 路38号温州市国家大 学科技园孵化器 (72)发明人 张笑钦　徐曰旺　赵丽　廖唐飞　 冯士杰　 (74)专利代理 机构 北京阳光天下知识产权代理 事务所(普通 合伙) 11671 专利代理师 李满红 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种多先验驱动的显著性目标检测算法 (57)摘要 本发明提供了一种多先验驱动的显著性目 标检测算法， 涉及图像处理技术领域， 包括： 获取 待检测目标图像， 并对所述待检测目标图像进行 预处理， 得到具有显著性先验知识的先验图像； 采用不同网络参数量的先验视觉注意力模块对 不同的先验图像进行处理， 获得八个不同尺度的 显著性特征图； 对八个不同尺度的显著性特征图 进行特征融合， 得到四个融合特征表示； 根据四 个融合特征表 示提取显著性目标边缘特征信息； 将提取的显著性目标边缘特征信息补充至上采 样后的全分辨率显著性 mask中， 根据补充信息后 的显著性 mask完成目标检测， 本发明可 实现在前 景和背景对比度低、 背景复杂、 主体形状复杂等 各种复杂环境下的主体边 缘的精确分割。 权利要求书2页 说明书6页 附图4页 CN 115205641 A 2022.10.18 CN 115205641 A 1.一种多先验驱动的显著性目标检测算法， 其特 征在于， 包括以下步骤： 获取待检测目标图像， 并对所述待检测目标图像进行预处理， 得到具有显著性先验知 识的先验图像； 采用不同网络参数量的先验视觉注意力模块对不同的先验图像进行处理， 获得八个不 同尺度的显著性特 征图； 对所述八个不同尺度的显著性特征图进行特征融合， 得到包含语义信 息和结构化细节 信息的四个融合特 征表示； 根据所述四个融合特 征表示提取显著性目标边 缘特征信息； 将提取的显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中， 根据补 充信息后的显著性mask完成目标检测。 2.如权利要求1所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述预处理过 程包括： 通过机器学习方法获取输入的待检测目标图像的五种先验图像， 所述五种先验图像包 括LC、 FT、 FG、 RC和Gradient； 构建先验指导网络， 并通过所述先验指导网络筛选出比原输入图像的显著性表征能力 强的先验图像， 并针对最终输出显著性mask与标签图像进行损失计算及反向传播优化， 所 述先验指导网络由ResNet5 0网络和多先验注意力网络组成； 将三通道 RGB图像输入ResNet50网络进行处理， 得到第一特征信息， 所述多先验注意力 网络使用四个带分组卷积的空间注意力模块对输入的三通道先验特征图进行处理输出第 二特征信息； 通过add函数将所述第 一特征信 息和所述第 二特征信 息进行相加融合后输出先验特征 图； 根据先验指导网络输出的先验特征图筛选出FG和Gradient作为具有显著性先验知识 的先验图像。 3.如权利要求2所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述采用不同 网络参数量的先验视觉注意力模块对不同的先验特征图进 行处理， 获得八个不同尺度的显 著性特征图包括： 通过所述先验视觉注意力模块从Gradient获得的四项特征， 所述四项特 征为FG2、 FG4、 FG8和FG16， 从FG获得的四项特征， 所述四项特征为FF2、 FF4、 FF8和FF16， 并使用标签 mask对上采样至原图分辨率的FG2、 FG4、 FG8、 FG16、 FF2、 FF4、 FF8和FF16进行损失计算及阶段性反 向传播优化； 所述先验视觉注意力模块由四级伪孪生网络块串联而成， 即当前级伪孪生网 络块的输入为上一级伪孪生网络块的输出， 每个伪孪生网络块包括通道配置子模块、 空间 注意力子模块和组间整合子模块， 所述 三个子模块按顺序串联。 4.如权利要求3所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述通道配置 子模块将每一级伪孪生网络块的输入特征通道数量增加至64、 128、 256和512， 实现对显著 性特征信息的增加及细化； 所述空间注意力子模块利用PyTorch框架 中的分组卷积按通道 数量进行分组处理， 分组数量与输入特征图通道数量保持一致， 所述分组卷积的卷积核大 小k共有三种， k＝1、 k＝5和k＝7， 激活函数使用高斯误差线性单元GELU进行特征激活； 所述 组间整合子模块使用2D卷积对 所述空间注意力子模块输出的特征进 行处理， 将输出的特征 通道数量转化至下一级伪孪生网络块要 求的特征通道数， 输出即为FF2、 FG2、 FF4、 FG4、 FF8、 FG8、权　利　要　求　书 1/2 页 2 CN 115205641 A 2FF16和FG16八个特征。 5.如权利要求4所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述对所述八 个不同尺度的显著性特 征图进行 特征融合包括： 通过逐像素相加操作将输入的所述八个特征按分辨率大小分为四组， 采用add函数将 每一组内两个分辨 率一致的特征进行融合并进行batc hnorm批归一 化和GELU 线性激活； 然后通过特征信息补充操作利用较大分辨率特征具有的细节信息补充至较小分辨率 特征具有的语义信息中： 将原图分辨率 的FG2分别下采样至FG4、 FG8和FG16分辨率进行逐像 素相加融合， 将原图分辨率 的FG4分别下采样至FG8和FG16， 将原图分辨率 的FG8下采样至 FG16， 将分辨率进行逐像素相加融合； 使用标签mask对上采样至原图分辨率 的FP2、 FP4、 FP8和FP16进行损失计算及阶段性反向 传播优化。 6.如权利要求5所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述根据 所述 四个融合特征表示提取显著性目标边缘特征信息包括通过边缘提取操作对输入的四个特 征进行边缘特征提取， 然后利用边缘特征融合操作融合四个不同分辨率的特征， 输出全分 辨率的显著性 边缘特征图FE； 所述边缘提取操作利用两组不 同卷积核大小k(k＝1,3)和不 同空洞率d(d＝1,2)的空 洞卷积组对输入特征进行处理,根据两组空洞卷积后的特征差值计算注意力权重图， 将原 特征图与所述注意力权重图相乘获得粗粒度的显著 性边缘特征， 所述显著 性边缘特征再经 过卷积、 reshape和转置操作， 计算非局 部增强权重图， 将粗粒度的显著性边缘特征与 非局 部增强权 重图相乘可 得细粒度的显著性 边缘特征图； 所述边缘特征融合操作首先将得到的四个显著性边缘特征图上采样至原图分辨率， 再 使用PyTorch框架中的cat函数按通道拼接， 最后使用卷积核大小为3*3的2D卷积将拼接特 征通道数变为1； 并使用边 缘标签mask对FE进行损失计算及阶段性反向传播优化。 7.如权利要求6所述的多先验驱动的显著性目标检测算法， 其特征在于， 所述将提取的 显著性目标边缘特征信息补充至上采样后的全分辨率显著性mask中包括： 首先将输入的 FP2、 FP4、 FP8和FP16特征图上采样至原图分辨率， 并融合为通道数1的显著性特征图FP； 再利用 PyTorch中的add函数将FP和FE逐像素相加融合， 最终得到 显著性mask。权　利　要　求　书 2/2 页 3 CN 115205641 A 3