(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028310 5.7 (22)申请日 2022.03.22 (71)申请人 大连大学 地址 116622 辽宁省大连市经济技 术开发 区学府大街10号 (72)发明人 秦静　王伟滨　汪祖民　季长清　 邹启杰　 (74)专利代理 机构 大连智高专利事务所(特殊 普通合伙) 2123 5 专利代理师 毕进 (51)Int.Cl. G06V 20/10(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) (54)发明名称 基于PointPillars改进的3D目标检测系统 (57)摘要 本发明公开了基于PointPillars改进的3D 目标检测系统， 包括柱特征提取网络、 2D骨干网、 由SSD模型组成的检测头、 视锥体提取模块和注 意力模块， 所述注意力模块用于获取一维通道的 注意力特征图以及二维空间的注 意力特征图； 所 述视锥体提取模块通过2D检测器获取RGB图像信 息， 并利用摄像机投影矩阵， 将2D检测器生成的 边界框提升到3D形成一个视锥体， 然后将三维截 锥区域划分为二维网格。 本发明引入2D驱动的视 锥体提取模块， 为的是尽可能排除目标外点云造 成的干扰。 在特征提取方面， 引入注意力机制， 提 取上下文信息， 将得到的额外特征与原模型提取 的特征进行结合， 完成特征增强， 最后送给检测 头输出结果， 提高最终检测精度。 权利要求书2页 说明书6页 附图2页 CN 114648698 A 2022.06.21 CN 114648698 A 1.基于PointPillars改进的3D目标检测系统， 包括柱特征提取网络、 2D骨干网、 由SSD 模型组成的检测头； 其特征在于， 还包括视锥体提取模块和注意力模块， 所述注意力模块用 于获取一维通道的注意力特征图 以及二维空间的注意力特征图 所述视锥体提取模块通过2D检测器获取RGB图像信息， 并利用摄像机投影 矩阵， 将2D检测 器生成的边界框提升到3D形成一个视锥体， 然后将三维截锥区域划分为二 维网格， 并在所述 二维网格的每 个单元中使用Po intNet来提取柱状特 征。 2.根据权利要求1所述基于PointPill ars改进的3D目标检测系统， 其特征在于， 所述注 意力模块处 理的过程如下： F代表输入的特征 图， 其中F∈RC×H×W； F'代表经过通道注意力 处理之后的特征图； F ”代 表最终处 理后的特 征图； 代表逐元素乘法， 在乘法的过程中， 注意力被相应地传播。 3.根据权利要求1或2所述基于PointPillars改进的3D目标检测系统， 其特征在于， 所 述注意力模块包括通道注意力模块和空间注意力模块， 所述通道注意力模块对不同通道的 特征图进 行处理， 其关注于全局， 聚焦在有意义的输入图像上； 所述空间注意力模块是对通 道注意力的补充， 其关注哪里有信息， 由特 征间的空间关系生成。 4.根据权利要求3述基于PointPill ars改进的3D目标检测系统， 其特征在于， 所述通道 注意力模块利用共享网络的最大池化层和平均池化层来聚合特征映射的空间信息， 分别表 示为 和 其通道注意力的获取公式为： σ 表示sigmoid函数； MLP代表多层感知机； 代表MLP的权 重； r代表减少率。 5.根据权利要求3所述基于PointPill ars改进的3D目标检测系统， 其特征在于， 所述空 间注意力模块池化操作生成两个2D映射， 以及 分别代 表平均池化特征和最大池化特征， 然后通过一个卷积层生成2D空间注意力图， 空间注意力 的获取公式为： 其中， f7×7代表滤波器尺寸是 7×7。 6.根据权利要求1所述基于PointPill ars改进的3D目标检测系统， 其特征在于， 将所述 视锥体旋转到中心视图位置后进行归一 化处理， 使得视锥体的中心轴与RGB图像平面 正交。权　利　要　求　书 1/2 页 2 CN 114648698 A 27.根据权利要求1所述基于PointPill ars改进的3D目标检测系统， 其特征在于， 所述视 锥体提取模块进行二维检测时， 使用一个高斯函数创建一个掩膜， 代表像素属于该物体的 可能性， 用下式计算： 其中， 和 表示图像平面上点云的投影； 和 代表中心坐标； w和h代表2D检测框的 宽度和高度； 然后将可能值映射到点云上， 整个三维空间被离散成一个二维网格， 形成一组支柱， 在 非空的柱中使用PointNet来提取支柱的特征， 通过一组卷积和反卷积获取空间特征， 最后 使用SSD检测模型回归三维边界框 。 8.根据权利要求2所述基于PointPill ars改进的3D目标检测系统， 其特征在于， 给摄像 机和LiDAR校准参数， 让 P为点云中的一个点， 变换矩阵 将P变换为其 在图像平面上的投影 权　利　要　求　书 2/2 页 3 CN 114648698 A 3