(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210239443.0 (22)申请日 2022.03.11 (71)申请人 浙江商汤科技 开发有限公司 地址 311215 浙江省杭州市萧 山区宁围街 道市心北路857号28 8-8室 (72)发明人 甄佳楠　周晓巍　孙佳明　张思宇　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06T 7/73(2017.01) G06T 15/20(2011.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/25(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 姿态确定方法及装置、 电子设备和存 储介质 (57)摘要 本公开涉及一种姿态确定方法及装置、 电子 设备和存储介质， 通过确定待识别图像中目标物 品上的至少一个第一特征点， 根据待识别图像中 的目标物品从预存图像中确定至少一个目标图 像， 目标图像具有第二特征点和对应的三维点 云， 每个第二特征点在三维点云中具有对应的 点。 根据第一特征点和二特征点， 以及第二特征 点在三维点 云中对应的点， 确定至少一个第一特 征点在三维点云中的目标点， 以根据至少一个第 一特征点在三维点云中的目标点确定待识别图 像对应的目标姿态。 本公开能够通过局部特征匹 配的方式确定待识别图像中每个二维特征点对 应的三维特征点， 以根据三维特征点采集待识别 图像时图像采集装置的姿态， 提高了确定的目标 姿态准确性。 权利要求书2页 说明书15页 附图8页 CN 114581525 A 2022.06.03 CN 114581525 A 1.一种姿态确定方法， 其特 征在于， 所述方法包括： 确定待识别图像中目标物品上的至少一个第一特 征点； 根据所述待识别图像中的目标物品从预存图像中确定至少一个目标图像， 其中所述目 标图像具有第二特征点和对应的三维点云， 所述目标图像的第二特征点在所述三 维点云中 具有对应的点； 根据所述至少一个第 一特征点和所述目标图像的第 二特征点， 以及所述第 二特征点在 所述三维点云中对应的点， 确定所述至少一个第一特 征点在所述 三维点云中的目标点； 根据所述至少一个第一特征点在所述三维点云中的目标点确定所述待识别图像对应 的目标姿态。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 确定至少一个预存图像， 获取 所述预存图像的至少一个第二特 征点； 对每个所述预存图像的第二特征点进行匹配， 得到多个第二特征点组， 每个所述第二 特征点组中的至少一个所述第二特 征点用于表征 所述目标物品上的同一 位置； 根据所述目标物品对应的多个所述第 二特征点组确定所述预存图像对应的三维点云， 所述三维点云中每一个点与一个所述第二特 征点组中的至少一个所述第二特 征点对应。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述目标物品对应的多个所述第 二特征点组确定所述预存图像对应的三维点云包括： 通过运动恢复结构算法基于多个所述第二特征点组解算得到所述目标物品的三维点 云。 4.根据权利要求1 ‑3中任意一项所述的方法， 其特征在于， 所述根据 所述待识别图像中 的目标物品从预存图像中确定 至少一个目标图像， 包括： 确定每个所述预存图像对应的姿态信息； 确定所述待识别图像对应的初始姿态； 根据所述待识别图像的初始姿态和所述预存图像对应的姿态信 息， 从所述预存图像中 确定所述至少一个目标图像。 5.根据权利要求4所述的方法， 其特征在于， 所述确定每个所述预存图像对应的姿态信 息包括： 对于每个所述预存图像， 基于其中包括的每个所述第 二特征点在所述三维点云中对应 的点执行N点透视算法， 得到所述预存图像对应的姿态信息 。 6.根据权利要求4或5所述的方法， 其特征在于， 所述待识别图像为连续采集的图像序 列中的一帧， 所述确定所述待识别图像对应的初始姿态包括： 确定所述图像序列中在所述待识别图像之前的多帧图像对应的在先姿态； 基于多个所述在先姿态执 行外插值法， 得到所述待识别图像对应的初始姿态。 7.根据权利要求1 ‑6中任意一项所述的方法， 其特征在于， 所述根据 所述至少一个第一 特征点和所述 目标图像的第二特征点， 以及所述第二特征点在所述三维点云中对应的点， 确定所述至少一个第一特 征点在所述 三维点云中的目标点， 包括： 将所述待识别图像与 所述目标图像进行特征点匹配， 得到每个所述第 一特征点匹配的 第二特征点； 将每个所述第一特征点匹配的所述第二特征点在所述三维点云中对应的点确定为所权　利　要　求　书 1/2 页 2 CN 114581525 A 2述目标点。 8.根据权利要求1 ‑7中任意一项所述的方法， 其特征在于， 所述根据 所述至少一个第一 特征点在所述 三维点云中的目标点确定所述待识别图像对应的目标姿态， 包括： 根据所述至少一个第一特征点在所述三维点云中的目标点执行N点透视算法， 得到所 述待识别图像对应的目标姿态。 9.根据权利1 ‑8中任意一项所述的方法， 其特征在于， 所述待识别图像为连续采集的图 像序列中的一帧， 所述方法还 包括： 确定所述待识别图像在所述图像序列中的下一帧图像作为参考图像， 所述参考图像中 包括在所述目标物品上的至少一个第三特 征点； 根据所述待识别图像上每个所述第 一特征点对应的目标点， 确定所述参考图像上每个 所述第三特 征点对应的目标点； 根据每个所述第三特征点与所述目标点的对应关系确定所述参考图像对应的参考姿 态。 10.根据权利要求9所述的方法， 其特征在于， 所述根据所述待识别图像上每个所述第 一特征点对应的目标点， 确定所述 参考图像上每 个所述第三特 征点对应的目标点包括： 根据稀疏光流算法跟踪所述待识别图像上每个所述第 一特征点， 得到每个所述第 一特 征点在所述 参考图像上匹配的第三特 征点； 确定每个所述第一特征点匹配的所述第三特征点与所述第一特征点在所述三维点云 中对应的目标点对应。 11.一种姿态确定装置， 其特 征在于， 所述装置包括： 第一信息确定模块， 用于确定待识别图像中目标物品上的至少一个第一特 征点； 第二信息确定模块， 用于根据 所述待识别图像中的目标物品从预存图像中确定至少一 个目标图像， 其中所述 目标图像具有第二特征点和对应的三维点云， 所述 目标图像的第二 特征点在所述 三维点云中具有对应的点； 目标点匹配模块， 用于根据所述至少一个第一特征点和所述目标图像的第二特征点， 以及所述第二特征点在所述三维点云中对应的点， 确定所述至少一个第一特征点在所述三 维点云中的目标点； 姿态确定模块， 用于根据所述至少一个第 一特征点在所述三维点云中的目标点确定所 述待识别图像对应的目标姿态。 12.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至10 中任意 一项所述的方法。 13.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至10中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 114581525 A 3