(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211109199.2 (22)申请日 2022.09.13 (71)申请人 领目科技 （上海） 有限公司 地址 200000 上海市浦东 新区自由贸易试 验区龙东大道3 000号7幢303-1室 (72)发明人 马栋梁　吴欣宇　瞿鑫　 (74)专利代理 机构 常州易瑞智新专利代理事务 所(普通合伙) 32338 专利代理师 潘悦 (51)Int.Cl. G06V 20/64(2022.01) G06V 20/70(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/766(2022.01)G06V 10/764(2022.01) G06V 10/22(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度动态中心差分卷积的单目3D 目标检测方法 (57)摘要 本发明公开了一种基于深度动态中心差分 卷积的单目3D目标检测方法， 属于自动驾驶技术 领域。 本发明包括： 获取图像， 确定锚框预设计， 对输入的图像进行预处理后输入到主干特征提 取网络中， 提取语义信息， 对输出的特征图进行 分类分支和回归分支， 对类别信息和回归信息进 行后处理操作， 得到RGB图像中目标的类别和3D 边界框。 在单目3D目标检测的深度估计中利用深 度动态中心差分卷积代替传统卷积， 深度动态操 作使网络同时考虑到了深度信息、 局部的尺寸信 息和每个样例的几何信息， 中心差分进一步地提 高了网络在每个像素上的细化程度， 且只使用了 简单的计算， 没有占用过多的内存。 提高了深度 估计的准确性， 最终提高了 单目3D目标检测的精 度。 权利要求书2页 说明书5页 附图2页 CN 115393843 A 2022.11.25 CN 115393843 A 1.一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特征在于， 包括以下步 骤： 步骤Ⅰ.获取图像， 确定锚框预设计， 对输入的图像进行预处理后输入到主干特征提取 网络中； 步骤Ⅱ.从主干特 征提取网络中提取语义信息， 输出 特征图； 步骤Ⅲ.对特征图进行分类分支和回归分支预测， 得到类别 信息和回归信息； 步骤Ⅳ.对类别信息和回归信息进行后处理操作， 得到RGB图像 中目标的类别和3D边界 框。 2.根据权利要求1所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 步骤 Ⅰ所述锚框预设计中， 预先设置32个锚框， 每个2D锚框对应一个3D锚框， 锚框各 参数预设值选自KITTI数据集的遍历， 计算3D目标观测角正弦值sinα和余弦值cosα,z的均 值和方差， 计算地面真实3D框及其投影到二维平 面之间的IoU值， 将 3D框分配给IoU≥0.5的 锚框。 3.根据权利要求2所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 所述步骤 Ⅰ获取图像时， 图像坐标系与摄像机坐标系之间的转换公式为： 其中F为相机内部参数， [x， y， z]3D为三维坐标在相机坐标中的水平位 置、 高度和深度， [x， y]2D为2D图像中的投影坐标； z3D为真实深度。 4.根据权利要求1所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 所述步骤 Ⅱ中所述输出特征图的大小为18 ×80， 选取主干网络输出的16倍降采样 特征图为输出图。 5.根据权利要求1所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 步骤 Ⅲ中所述分类分支以2个卷积模块预测主干特征提取网络输入的特征图， 得到 输出张量C(B， W， H， K*num_anchors)， 其中B为批处理的大小， W和H为特征图的尺寸， K为类 数， num_anc hors为每 个像素的锚数。 6.根据权利要求1所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 步骤 Ⅲ中所述回归分支以1个深度动态中心差 分卷积模块和1个卷积模块预测主干 特征提取网络输入的特征图， 得到输出张量R(B,H,W,12*num_anchors)， 其中B为批处理的 大小， W和H为特 征图的尺寸， num_anc hors为每 个像素的锚数。 7.根据权利要求1所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 步骤 Ⅳ中所述后处理操作为对分类张量C和回归张量R进行后处理， 使用非极大值 抑制算法， 得到最终的目标检测结果。 8.根据权利要求6所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 所述述回归分支输出特征图后， 以地面假设来输出深度图； 使用深度动态中心差分 卷积模块计算深度图。 9.根据权利要求8所述一种基于深度动态中心差分卷积的单目3D 目标检测方法， 其特 征在于， 所述深度动态中心差分卷积的公式为：权　利　要　求　书 1/2 页 2 CN 115393843 A 2， 其中， outputcd’为中心差分卷积输出结果， WDD(xn)为深度动态得到的卷积核， xc为中心位置， xn为各像素值， σ 为超参数0.7。权　利　要　求　书 2/2 页 3 CN 115393843 A 3