(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210675654.9 (22)申请日 2022.06.15 (71)申请人 上海交通大 学 地址 200240 上海市闵行区东川路80 0号 (72)发明人 孟子尧　盛斌　任然　 (74)专利代理 机构 上海汉声知识产权代理有限 公司 3123 6 专利代理师 胡晶 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 3/00(2006.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于稀疏到稠密特征匹配网络的三维重建 方法和系统 (57)摘要 本发明提供了一种基于稀疏到稠密特征匹 配网络的三维重建方法和系统， 包括： 步骤1： 使 用可变形卷积网络提取多级特征图； 步骤2： 在每 个卷积层之后加入批归一化层； 步骤3： 通过多个 特征提取块， 经过卷积和批归一化得到多级特征 图， 以特征图金字塔的形式形成多级加权融合的 输入； 步骤4： 融合多层次特征， 为不同层次的特 征图分配不同的权重， 从而平衡注意力， 得到属 于不同层次的具有强语义信息的特征， 以及图像 对的对应匹配 关系， 并基于匹配关系进行二维到 三维的映射， 从而实现三维重建。 本发明采用可 变形卷积网络以关注局部形状信息， 同时通过一 个多级加权融合模块以实现多级特征提取， 进而 实现鲁棒和准确的三维重建。 权利要求书3页 说明书7页 附图1页 CN 115330930 A 2022.11.11 CN 115330930 A 1.一种基于稀疏到稠密特 征匹配网络的三维重建方法， 其特 征在于， 包括： 步骤1： 使用可变形卷积网络提取多级特征图， 采用轻量级L2 ‑Net作为主干网络， 并将 最后一个卷积层替换为可变形 卷积层， 使用步长为2的卷积实现特 征图的下采样； 步骤2： 在每个卷积层 之后加入批归一化层， 在训练期间分别将批归一化层的权重和偏 差参数固定为1和0； 步骤3： 通过多个特征提取块， 经过卷积和批归一化得到多级特征图， 以特征图金字塔 的形式形成多 级加权融合的输入； 步骤4： 融合多层次特征， 为不同层次的特征图分配不同的权重， 从而平衡注意力， 得到 属于不同层次的具有强语义信息的特征， 以及图像对的对应匹配关系， 并基于匹配关系进 行二维到三维的映射， 从而实现三维重建。 2.根据权利要求1所述的基于稀疏到稠密特征匹配网络的三维重建方法， 其特征在于， 通过额外的卷积层从先验特征图中学习得到偏移 量， 在标准二维卷积中常规网格采样位置 添加二维偏移， 以局部、 稠密和自适应方式的输入特征为条件， 利用规则网格R定义感受野 大小和空洞， 对于 输出特征图y上的每 个位置p0， 则有： 其中， w(pn)表示位置pn上由w加权的采样值； x(p0+pn)表示输入特征图x上对应p0+pn位 置的值； p0表示输出 特征图y上的位置； pn表示输入特 征图x上由规则网格R采样位置的枚举； 在可变形 卷积中， 通过规则网格R增 加偏移量{Δpn|n＝1,…,N}， 其中N ＝|R|， 得到： 3.根据权利要求2所述的基于稀疏到稠密特征匹配网络的三维重建方法， 其特征在于， 由于偏移量Δpn是小数， 通过双线性插值得到： G(q,p)表示对q和p的双线性插值； p表示任意位置， p＝p0+pn+Δpn； q表示特征图x中的 所有积分空间位置的枚举； G是双线性插值核。 4.根据权利要求1所述的基于稀疏到稠密特征匹配网络的三维重建方法， 其特征在于， 对于要匹配的图像对(IA,IB)， 使用关键点检测器来获得图像IA的关键点集KA， 特征匹配过 程即稀疏到密集的超列匹配问题， 对图像IA中的每个关键点 在图像IB中找到对应的关键 点 关键点分类分布为： 其中， 表示图像IB每个关键点 的稠密对应； q表示IB的像素点； Cn[q]表示IB像素 点q的稠密对应； Cn表示稠密对应图， Ω表示 IB的像素， θ 是网络参数。 5.根据权利要求4所述的基于稀疏到稠密特征匹配网络的三维重建方法， 其特征在于， 将图像IA和图像IB进行可变形特征提取， 得到特征图 和 其中， 表示权　利　要　求　书 1/3 页 2 CN 115330930 A 2图像IA在级别L的特征图， 表示图像IB在级别L的特征图， 多级对 应映射{Sl|l＝1,…,L}的 计算方式为： 其中， 代表将关键点 下采样到 ＊表示1×1卷积； 应用加权融合， 稠密对应图Cn最终被计算为： 其中， μ()表示上采样算子， ωl表示第l级的权 重； 通过可变形特征提取和加权融合， 获得图像对(IA,IB)的对应匹配关系， 记为 其中， NAB表示IA和IB之间的特 征匹配数。 6.一种基于稀疏到稠密特 征匹配网络的三维重建系统， 其特 征在于， 包括： 模块M1： 使用可变形卷积网络提取多级特征图， 采用轻量级L2 ‑Net作为主干网络， 并将 最后一个卷积层替换为可变形 卷积层， 使用步长为2的卷积实现特 征图的下采样； 模块M2： 在每个卷积层之后加入批归一化层， 在训练期间分别将批归一化层的权重和 偏差参数固定为1和0； 模块M3： 通过多个特征提取块， 经过卷积和批归一化得到多级特征图， 以特征图金字塔 的形式形成多 级加权融合的输入； 模块M4： 融合多层次特征， 为不同层次的特征图分配不同的权重， 从而平衡注意力， 得 到属于不同层次的具有强语义信息的特征， 以及图像对的对应匹配关系， 并基于匹配关系 进行二维到三维的映射， 从而实现三维重建。 7.根据权利要求6所述的基于稀疏到稠密特征匹配网络的三维重建系统， 其特征在于， 通过额外的卷积层从先验特征图中学习得到偏移 量， 在标准二维卷积中常规网格采样位置 添加二维偏移， 以局部、 稠密和自适应方式的输入特征为条件， 利用规则网格R定义感受野 大小和空洞， 对于 输出特征图y上的每 个位置p0， 则有： 其中， w(pn)表示位置pn上由w加权的采样值； x(p0+pn)表示输入特征图x上对应p0+pn位 置的值； p0表示输出 特征图y上的位置； pn表示输入特 征图x上由规则网格R采样位置的枚举； 在可变形 卷积中， 通过规则网格R增 加偏移量{Δpn|n＝1,…,N}， 其中N ＝|R|， 得到： 8.根据权利要求7所述的基于稀疏到稠密特征匹配网络的三维重建系统， 其特征在于， 由于偏移量Δpn是小数， 通过双线性插值得到： G(q,p)表示对q和p的双线性插值； p表示任意位置， p＝p0+pn+Δpn； q表示特征图x中的 所有积分空间位置的枚举； G是双线性插值核。权　利　要　求　书 2/3 页 3 CN 115330930 A 3