(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210672135.7 (22)申请日 2022.06.15 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 杨爱萍　王子麒　魏子浩　宋尚阳　 周雅然　程思萌　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李素兰 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/44(2022.01) G06V 10/46(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01)G06V 10/774(2022.01) G06V 10/776(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双流编码和交互解码的显著性检测网 络系统 (57)摘要 本发明公开了一种基于双流编码和交互解 码的显著性检测网络系统， 该系统包括依序连接 的总数据集合、 双流编码模块、 交互解码模块和 融合模块； 所述编码模块由主体区域特征提取网 络和边界特征提取网络构成， 实现原始图像特征 的特征提取， 进而实现原始图像的边界提取； 所 述交互解码模块由边界检测网络和主体检测网 络组成， 利用边界检测网络与主体检测网络共同 实现针对不同的任务进行网络训练； 融合模块， 从解码得到的多尺度主体特征图上采样原图像 的尺度， 对主体区域特征图进行通道堆叠、 卷积 映射等操作， 得到最终显著性检测结果。 与现有 技术相比， 本发 明对多目标和复杂场景的检测结 果更出色， 检测结果更完整， 降低了显著性检测 技术的平均绝对误差 。 权利要求书2页 说明书5页 附图3页 CN 115035377 A 2022.09.09 CN 115035377 A 1.一种基于双流编码和 交互解码的显著性检测网络系统， 其特征在于， 该系统包括依 序连接的总数据集 合、 双流编码模块、 交 互解码模块和融合模块； 其中： 所述总数据集 合包括训练集、 测试集； 所述双流编码模块和所述交互解码模块区域 ‑边界互补融合网络， 所述编码模块由主 体区域特征提取网络和边界特征提取网络构成； 实现原始图像特征 的特征提取， 进而实现 原始图像的边界提取； 所述交互解码模块由边界检测网络和主体检测网络组成， 利用边界检测网络与主体检 测网络共同实现了针对不同的任务进行网络训练； 融合模块， 从解码得到的多尺度主体特征图上采样到原图像的尺度， 对主体区域特征 图进行通道堆叠、 卷积映射操作， 以得到最终的显著性检测结果。 2.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述基于双流编码和交互解码的显著性检测网络系统还设置有滤波模块， 对作为双流编码 模块输入的主体区域特征图所进一步包括的深层特征和浅层特征分别 设计两种滤波网络 模型， 分别为空间滤波网络和通道滤波网络 。 3.如权利要求2所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述空间滤波网络包含两支卷积网络， 一支由核为1 ×3， 输出通道 为c/2， 和核为3 ×1， 输出 通道为1的两个卷积层构成； 另一支由核为1 ×3， 输出通道 为c/2， 和核为1 ×3， 输出通道 为1 的两个卷积层构成， 输入的主体区域特征图经空间滤波网络提取出空间特征u1SA和u2SA， 空 间特征对输入的特 征图进行调整、 融合。 4.如权利要求2所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述通道滤波网络由三部分组成： 首先由核为1 ×1、 3×3和5×5的卷积运算完成多种感受 野下的特 征感知； 然后提取多种感受野下 特征图的全局信息uCA。 5.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 对于边界检测网络B， 损失函数如下式所示： 其中， 表示预测的第i个特征边界图中点k的像素值， 表示真实的第i个特征边界 图中点k的像素值， 真实的边界图来自真实显著图的膨胀腐蚀之差 。 6.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述对于主体 检测网络R， 损失函数如下式所示： 其中， max( ·)表示最大化函数， 表示预测的第 i个特征显著图中点k的像素值， 表示 真实的第i个特 征显著图中点 k的像素值。 7.如权利要求5或6所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在 于， 对于边界检测网络B和主体 检测网络R构成的网络整体， 损失函数表示 为：权　利　要　求　书 1/2 页 2 CN 115035377 A 2其中， 和 δi为两支解码网络中损失函数的调节因子 。 8.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述主体特征提取网络由五个串联的残差卷积块组成， 使用经ImageNet数据集预训练的 ResNet进行图像特征的提取， 得到 五阶初始主体特征{Ri}， i＝1,2,3,4,5； 所述边界特征提 取网络由五阶最大化采样层构成， 得到初始边界特 征{Bi}， i＝1,2,3,4,5， 表达式如下： 其中， HFE,i(·)表示第i个特征的提取函数， Hpooling,i(·)表示第i个特征的最大化采样 函数， I表示主体区域特 征提取网络的输入， E表示 边界特征提取网络的输入。 9.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在于， 所述边界检测网络将初始边界特征Bi和初始主体特征作Ri为输入， 以逐元素相加的融合方 式消除显著目标内部的边界， 并通过多组核为3 ×3大小的卷积层逐渐消除显著目标外部的 边界， 得到修正的边界特征B ′i； 所述主体检测网络再使用边界特征补偿主体特征， 将初始 主体特征Ri和修正的边界特征B ′i作为输入， 以通道堆叠的融合 方式弥补部分主 体特征缺失 导致检测不完整的缺陷， 得到修 正的主体特 征R′i， 该过程表示 为： 其中， 表示特征图逐像素相加， ⊙表示特征图通道堆叠， f3×3(·)表示经过3 ×3大小 的卷积层。 10.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统， 其特征在 于， 所述交 互解码模块中还 包括位置指导和边界补偿。权　利　要　求　书 2/2 页 3 CN 115035377 A 3